Использование в Sas.Планета кеша в формате Berkeley

[cycler]

Вот мой отчёт об использовании Беркли.
ОС Win7Pro64, последняя чистая ночнушка (130612.7280), новый ноут Lenovo B590.
Запустил для теста в три потока три перекрывающихся сегмента спутника яндекса в формат Беркли (обычный). Кеша вышло на 3Гб. Всю ночь качалось, утром два потока были завершены, а третий стоял на месте на 90проц. Оказалось, что вообще вся САС зависла. Крестом она закрываться не захотела, грохнул через процессы. В итоге всё скачанное за ночь пропало, то есть база побилась. После рестарта продолжил скачивание, которое стало успешно добавляться и показываться.
Попытался восстановить старый кеш по инструкции из вики (sasgis.org/wikisasiya/doku.php/восстановление_кэша_berkeleydb), но винда вылетает с ошибкой ("виндовс вынуждена прекратить выполнение данной программы.."), ошибка возникает даже при запуске голого db_verify.exe, без батника.

АПД: товарищи, обновите в вики файлы db_verify & db_load. я их изначально скачал и обновил на них те, которые уже лежали в ночнушке. файлы из вики вылетают с ошибкой, файлы из ночнушки успешно отработали.

АПД2: db_verify & db_load отработали, но база не починилась

[zed]

Попытался восстановить старый кеш по инструкции из вики

Восстановление убитого кэша Беркли (BerkeleyDB)

[kefi]

Скажите, плз, можно ли добавить выделенный кусок из одной карты в другую , чтобы уже существующие тайлы данного зума не убивались. У меня не получилось с помощью "Скопировать" , может, - сие запрещено для Беркли ? В диалоге "Скопировать" можно, конечно, снять галку "Заменять при совпадении", но желаемого не получается ....

[zed]

чтобы уже существующие тайлы данного зума не убивались

Возможно. Но нужно чтобы целевая карта использовала версионный Беркли и добавлять тайлы нужно в новую версию, которая не перекрывает существующую. Причём, добавлять придётся через Операции - Менеджер кэша, т.к. только там можно задать версию под которой эти тайлы будут сохранены (насколько я понял, вы хотите добавить из обычного Беркли?) Если же у вас уже есть версионные тайлы и их версия не пересекается с существующей в целевом хранилище, то тайлы можно перегнать и напрямую, через вкладку Скопировать.

[kefi]

zed » Спасибо.
Я пока с версионным Беркли не работаю - ибо не понял , что это такое...
А вообще для работы с базами Бэркли есть какие-ни сторонние/нативные субд, менеджеры которых позволяли бы проводить обычную обработку баз данных - копирование и пр. ?...

[zed]

Я пока с версионным Беркли не работаю - ибо не понял , что это такое...

http://yadi.sk/d/GKlV5VmX45WjK (видео лучше скачать и смотреть с диска, а не он-лайн, поскольку плеер очень плох и показывает видео в низком качестве).

А вообще для работы с базами Бэркли есть какие-ни сторонние/нативные субд, менеджеры которых позволяли бы проводить обычную обработку баз данных - копирование и пр. ?...

Нет. Это key/value база данных, поэтому тут помогут только самописные скрипты или программы.

[kefi]

zed »
C версиями примерно понятно. Непонятно только вот что :
- какие версии при версионном кеше при экспорте в sqlitedb попадут в экспортную базу ( т.к. мне дальше нужно еще в sqlite экспортировать бэркли) ?
- как версии нумеровать - произвольно, т.е. отслеживание нумерации целиком на плечах пользователя лежит ?
- насколько в настоящий момент версионность надежно работает по сравнению с обычным Бэркли ?
( эти вопросы, конечно, лучше в теме про версионный кеш лучше задать ....)

А вот что касается копирования выделенной области при обычном кеше Бэркли :
Как я заметил, подгрузка из Inet новых кусков проходит успешно - они добавляются или перекрывают уже существующие, а старые за пределеами выделения части карты остаются на месте.

Так вот - нельзя ли как-то симитировать операцию копирования выделенной области из одной базы в другую загрузкой из Inet, но как-то указать адрес не URL, а папку на компьютере ?

Или вот так, например - поднять web сервер IIS 5, привязать к нему папку с нужным исходным кешем, как виртуальный каталог и после этого по ее URL запустить загрузку. Вот только - как при этом прописать строки загрузки в GetUrlScript.txt ? Или принципиально невозможно закачивать с web-серверов, хранящих карты в формате Бэркли ? В этом случае - тогда интересует - как прописать загрузку в GetUrlScript.txt, если исходный загружаемый формат на сервере не Бэркли, а GMT, например ?

[zed]

какие версии при версионном кеше при экспорте в sqlitedb попадут в экспортную базу ( т.к. мне дальше нужно еще в sqlite экспортировать бэркли)

То что видите на экране, то и попадёт.

как версии нумеровать - произвольно, т.е. отслеживание нумерации целиком на плечах пользователя лежит

Да.

насколько в настоящий момент версионность надежно работает по сравнению с обычным Бэркли

В багтрекере жалоб нету, так что вполне надёжно.

Как я заметил, подгрузка из Inet новых кусков проходит успешно - они добавляются или перекрывают уже существующие, а старые за пределеами выделения части карты остаются на месте.

Естественно. Аналогичную картину вы получите и при копировании выделенной области. Мне показалось что вы спрашивали как оставить существующие снимки и добавить снимки с другой карты, чтобы можно было переключаться между ними? Если вопрос был не про это, то про версионный Беркли можете забыть.

[kefi]

Как я заметил, подгрузка из Inet новых кусков проходит успешно - они добавляются или перекрывают уже существующие, а старые за пределеами выделения части карты остаются на месте.

Естественно. Аналогичную картину вы получите и при копировании выделенной области. Мне показалось что вы спрашивали как оставить существующие снимки и добавить снимки с другой карты, чтобы можно было переключаться между ними? Если вопрос был не про это, то про версионный Беркли можете забыть.

Все так, только переключаться между ними мне не нужно - нужно просто добавить выделенную область из одной базы Беркли в другую c перекрытием существующих на даном зуме . Это у меня не получилось если исходный и целевой кеш - базы Бэркли, но из интернета загрузка в данную базу бэркли происходит успешно, что не удивительно.

Поэтому я и спрашиваю - нельзя ли симитровать желаемое копирование след образом :

как-то указать адрес не URL, а папку на компьютере ?

Или вот так, например - поднять web сервер IIS 5, привязать к нему папку с нужным исходным кешем, как виртуальный каталог и после этого по ее URL запустить загрузку. Вот только - как при этом прописать строки загрузки в GetUrlScript.txt ? Или принципиально невозможно закачивать с web-серверов, хранящих карты в формате Бэркли ? В этом случае - тогда интересует - как прописать загрузку в GetUrlScript.txt, если исходный загружаемый формат на сервере не Бэркли, а GMT, например ?

[zed]

Это у меня не получилось если исходный и целевой кеш - базы Бэркли

Пробуйте ещё. Там нету никаких ограничений.

Поэтому я и спрашиваю - нельзя ли симитровать желаемое копирование след образом :

Можно и так. Но ваш сервер должен уметь работать с Беркли, а научить его можно только самописными скриптами. И этот способ, мягко говоря - сложный.