ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

[VMatveev]

Использовать SSD диски для хранения кэша.

У меня нету SSD...
Заметив, что копирование в BerkleyDB идет всё же быстрее скачивания (~100 тайлов в секунду), решил сначала скачивать во временный "стандартный" кэш на другом диске, а потом уже перебрасывать в основной Berkley. Так скачивание идет намного быстрее, чем напрямую в Berkley. Ошибка. Просто в том Berkley-кэше уже были тайлы, и программа их просто пропускала. Как только доходит до места где тайлы отсутствовуют — скорость обработки падает до всё тех же 4-6 тайлов в секунду... Никак нельзя ускорить это дело?

[DJ VK]

Как заставить SAS загружать в кэш BerkleyDB со скоростью хотя бы 30-50 тайлов в секунду, а в идеале — со скоростью канала (30 Мбит входящий/исходящий)?

Если критична скорость скачивания есть смысл сначала качать в тайловый кэш, а затем его уже медленно переносить в беркли.

Никак нельзя ускорить это дело?

Скачку не знаю, но перенос из sas в Беркли точно можно.
DB_TXN_WRITE_NOSYNC on
На свой страх и риск
viewtopic.php?f=2&t=34&p=37909#p37909
После скачки флаг советуется вернуть. А может и пройтись Recovery+reset LSN.

[zed]

DB_TXN_WRITE_NOSYNC on
На свой страх и риск
viewtopic.php?f=2&t=34&p=37909#p37909

Предварительно ознакомьтесь: viewtopic.php?f=2&t=2024&start=50#p33067 и особенно: http://www.sasgis.org/mantis/view.php?id=2468 чтобы потом вопросов небыло. Имхо, лучше медленно, но надёжно.

А может и пройтись Recovery+reset LSN.

Reset LSN вообще не в тему. Нужно прогонять verify по всей базе, чтобы убедиться, что ошибок нет. А если есть, то исправить.

И ещё, временный перенос папки env на RAM диск обычно тоже сильно помогает.

[nanoprod]

В режиме "склеить" есть опция "применить коррекцию изображения". Как быть, если нужна коррекция в режиме "экспорт"?

Есть ли возможность получить на выходе карту формата RMaps с коррекцией?

Если непосредственно из sas такой возможности нет, то посоветуйте плз наиболее оптимальный, на ваш взгляд, вариант, для экспортируемых из sas карт размером 500Мб-3Гб.
Заранее спасибо.

[Papazol]

Наверное, самый лобовой, но не самый простой способ - применить коррекцию ко всем тайлам пакетно, используя что-нибудь типа ImageMagick, а потом экспортировать. Но нужно учесть, что:
1. Таким способом можно обрабатывать только тайловый кэш (не Беркли).
2. Исходники нужно сохранить, так что придётся скопировать выделенную область в отдельный кэш.
3. Коррекцию сначала нужно проверить, обработав небольшой участок и посмотрев, что получилось, и только при удовлетворительном результате приступать к 3 ГБ.
4. Если выбран большой участок, на котором не один снимок, а несколько, то одна и та же коррекция может где-то помочь, а где-то и навредить.

[Cheetos]

Есть локальная сетка, в которой есть комп на windows с SAS.Планетой и NAS-сервер на linux с расшаренной папкой с большим кэшем от планеты. Извечная проблема - копирование части кэша, да еще и по сетке.
Если в планете выделить необходимую область и попытаться скопировать в другое место, то уйдет уйма времени, так как кэш будет литься потайлово. Как вариант можно упаковать необходимую часть кэша средствами linux, скопировать получившийся архив по сетке, после чего распаковать его в другом месте. В принципе ничего нового - про перенос кэша уже неоднократно писалось на форуме, но в данном случае интересует перенос именно выделенной части кэша, а для этого нужен перечень файлов для копирования.
Собственно вопрос - возможно ли это реализовать, ну или в какую сторону копать?

[Parasite]

нужен перечень файлов для копирования.

Экспорт в .AUX дает на выходе текстовый файл с абс.именами к.тайла.

[vasketsov]

Если в планете выделить необходимую область и попытаться скопировать в другое место, то уйдет уйма времени, так как кэш будет литься потайлово. Как вариант можно упаковать необходимую часть кэша средствами linux, скопировать получившийся архив по сетке, после чего распаковать его в другом месте

Тайлы в выделенной области можно скопировать в архив. Эта операция работает по перечню карт и зумов, создаёт архив типа tar или zip. Куда удобнее, чем архивировать средствами linux разбросанное по множеству папок. А потом архив можно перенести куда угодно и быстро. Искать копирование тайлов в архив нужно в окне операций с выделенной областью. Там правые закладки, и много разных форматов экспорта, нужен экспорт в архив.

[Cheetos]

Если в планете выделить необходимую область и попытаться скопировать в другое место, то уйдет уйма времени, так как кэш будет литься потайлово. Как вариант можно упаковать необходимую часть кэша средствами linux, скопировать получившийся архив по сетке, после чего распаковать его в другом месте

Тайлы в выделенной области можно скопировать в архив. Эта операция работает по перечню карт и зумов, создаёт архив типа tar или zip. Куда удобнее, чем архивировать средствами linux разбросанное по множеству папок. А потом архив можно перенести куда угодно и быстро. Искать копирование тайлов в архив нужно в окне операций с выделенной областью. Там правые закладки, и много разных форматов экспорта, нужен экспорт в архив.

Для того, чтобы тайлы в выделенной области средствами планеты скопировать куда-либо, их предварительно надо прочитать из сетевой папки и передать в планету, что по своей сути ничем не отличается от простого копирования по той же сетке.

[Papazol]

Куда лучше было бы создавать архив с нужными тайлами прямо на сервере Гугла, а потом его скачивать.

Экспорт в AUX создаёт список тайлов, но вот что этот список включает, я так и не смог понять. Выделив целую область на z15 (это около 20 тысяч тайлов), я получил AUX со списком из максимум 100 тайлов. Там применяется какое-то кодирование. И ещё, в списке карт, для которых можно совершить экспорт в AUX, находятся далеко не все имеющиеся в кэше карты, а только "избранные". Например, ни карт, ни снимков Гугла и Яндекса в моём списке не значится. И последнее, для экспорта в AUX можно выбрать только один зум. В общем, применять для архивирования нельзя. (Но может быть, я вообще ничего не понял в этом AUX, и всё хорошо?)