Использование в Sas.Планета кеша в формате Berkeley

[fedorch]

подробнее, плиз, из написанного не очевидно сколько раз запускалась программа (раз зависала явно не 1 раз) и какова судьба кэшей после ошибки(сколько их было, какого типа тоже напишите) . Желательно всю последовательность с нуля и поэтапно.

В моих попытках слить кэши программа вылетала многократно. Описать сейчас всё подробно и в хронологическом порядке я не смогу. Все вылеты (как мне кажется) происходили до начала копирования данных, так что я надеюсь, что новых существенных повреждений БД они не нанесли. К тому же я сделал полные архивные копии всех БД перед началом экспериментов.

И Почему если нужно несколько кэшей слить в 1 не используется копирование с возможностью выбора переместить-заменить-пропустить (беркли очень критичен к грубому вмешательству, восстановлением лечится максимум замена целого квадрата если это делалось руками, лучше все делать копированием)?

К сожалению, ваших дальнейших вопросов, советов и предостережений я практически не понял ;-( Что значит "копирование с возможностью выбора переместить-заменить-пропустить"? это в каком меню и что за функция? Или вы про копирование средствами ОС, но как это можно применить к БД? Кэш ведь не отдельными тайлами лежит на диске.

Я несколькими постами ранее подробно описал свою проблему (точнее свое желание слить два версионных Беркли кэша в один). Zed мне ответил:

Единственный способ это сделать: Операции - Управление кэшем.

Я ещё раз переспросил правильно ли его понял и стал пробовать "копать" в этом направлении. Когда у меня ничего не получилось, то я стал снова спрашивать здесь, как мне исправить БД, чтобы программа перестала вылетать, так как стандартный режим sdb_util "проверить и исправить" ошибок в БД не находил и соответственно их не исправлял.

Потом я стал искать на форуме советы по применению db_recover и sdb_util и пробовать их применять... И каждый раз после очередной попытки исправления БД я пробовал их слить и плучал очередной креш.

В новых версиях программы можно указать единую папку кэша беркли для копирования в нее разных карт (убрав галку раскладывания по подпапкам). После копирования (и только после него) остатки старых кешей удалить руками.

Снова не понял, что вы здесь понимаете под копированием ;-(

Смена типа кэша рассчитана на 1 карту. Используйте ее с осторожностью.
Внимание. При копировании в базу беркли внимательно смотрите,какая карта активна. Если забыть переключить отображаемую карту и копирнуть карту беркли в саму себя жмите скорей отмену - (если включены опции переместить и заменить - писец полный скачанному кэшу, удаляется)

Как связана отображаемая карта со сменой типа кэша? В диалоге управления кэшем (смена формата кэша) явно указывается как исходный кэш, так и результирующий. Или предполагается ещё и неявное использование отображаемой карты?

Конечно я понимаю, что из за одновременного доступа к БД нескольких процессов могут возникнуть дополнительные проблемы, поэтому у меня во время всех попыток отображалась карта не совпадающая ни с исходным кэшем не с результирующим.

[fedorch]

Мне таки удалось начать процесс объединения кэшей. Результат ещё неясен, но программа по крайней мере начала считать обработанные/пропущенные тайлы. Скорость работы мягко говоря не высокая. За ночь было скопировано 700 тысяч тайлов из примерно 1,5 миллионов. Такое ощущение, что COMMIT (или что-то аналогичное) вызывается после каждого тайла.

Что-же потребовалось для этого сделать:

1) Нужно было сбросить LSN не только для исходного кэша (на который SAS.Планета ругалась), но и для результирующего кэша про который она ни чего плохого не говорила (до тех пор пока я от безысходности не начал "разбирать" его на отдельные тайлы).
2) Нужно было указывать путь до "корня" кэша карты, а не до определенного масштаба, как пытался сделать я. Тут бы программе ошибочку какую стоит выдавать, а не "Конвертация кэша завершена".
3) Нужно было сменить расширение с *.jpg на *.png Думал, что эта опция применяется только при работе с отдельными тайлами, но оказывается, что она нужна и для работы с БД. Но в данном случае выдается сообщение об ошибке из которого можно понять в чем дело.

[zed]

Я запускал управление кэшем следующим образом: https://yadi.sk/i/Yys2uuroZKudt

И не правильно запускали. Нужно указывать папку с кэшем карты, а не папку с каким-то зумом.

1) Нужно было сбросить LSN

Если вы не трогали руками папку env, то никаких сбросов LSN делать не нужно.

[fedorch]

Если вы не трогали руками папку env, то никаких сбросов LSN делать не нужно.

Имеется 2 компьютера (точнее 3, но сути это не меняет). Назовем первый основным. На основном компьютере была установлена SAS.Планета 140505.8037 и некоторое время загружались различные карты. Ни каких глюков, вылетов, зависаний и т.д. на основном компьютере замечено не было. Ни какого вмешательства в структуру данных на основном компьютере не производилось, я только делал копии файлов (при выключенной программе).

Через некоторое время эта установка была скопирована на другой компьютер, назовем его дополнительным, но не полностью. Кроме программы был перенесен только один масштаб одной из карт (и его env, но не env карты в целом). На дополнительном компьютере производилась загрузка ряда областей в этот перенесенный масштаб. При этом временами наблюдались странные и глюки.

Например, загрузка области завершалась с сообщением в заголовке окна о том, что загрузка завершена. При этом судя по прогресс-бару загрузка прервалась на 80% и в логе последняя строчка стоит "обработка тайла X/Y", а не "загрузка завершена". Вывод заполнения слоя так же обычно зависал. sdb_util в режиме по умолчанию проблем не отмечал. То, что кэш дополнительного компьютера оказался испорчен я понять могу.

Но отчаявшись слить кэши напрямую в виде БД, я попытался разобрать их на тайлы, чтобы объединить копированием и потом снова собрать БД. При этом выяснилось, что "Управление кэшем" ругается и на LSN БД основного компьютера, если её выставить в качестве источника данных при конвертации. Хотя, ещё раз повторюсь, с этой БД я вручную ни чего не делал (максимум запускал sdb_util в режиме по умолчанию, точно уже не помню...) Так я пришел к тому, что необходим сброс LSN для основной БД. Возможно когда-то что-то случилось, какой нибудь сбой на который я не обратил внимание или ноутбук заснул неудачно, но до сих пор этот сбой в основной БД ни как не проявлялся. Только Управление кэшем отказалось из за него работать.

Судя по наблюдаемым мной на дополнительном компьютере глюкам есть ощущение, что код загрузчика области и построения заполнения слоя часто просто игнорируют исключения при работе с БД.

[zed]

Кроме программы был перенесен только один масштаб одной из карт (и его env, но не env карты в целом).

У карты только один env и из него невозможно вычленить информацию о каком-то одном зуме. В итоге, получилось что вы влезли в структуру БД руками и получили глюки.

При этом выяснилось, что "Управление кэшем" ругается и на LSN БД основного компьютера

Вы пытались указать только определённый зум и оно не могло найти env и потому ругалось. Ошибка про LSN говорит, что программа не может найти валидный env и более ничего. Сразу же после этой ошибки укажите программе правильную папку с кэшем и оно будет работать без проблем и не нужно юзать sdb_util и сбрасывать LSN. Т.е. кэш на основном компьютере у вас небыл испорчен, просто были неправильные действия пользователя.

[fedorch]

Кроме программы был перенесен только один масштаб одной из карт (и его env, но не env карты в целом).

У карты только один env и из него невозможно вычленить информацию о каком-то одном зуме. В итоге, получилось что вы влезли в структуру БД руками и получили глюки.

Я не знаю тонкостей устройства BerkleyDB. Я лишь имел в виду, что папка env есть как в корне карты, так и внутри каждого масштаба. То, что дополнительную БД я испортил сам я согласен.

При этом выяснилось, что "Управление кэшем" ругается и на LSN БД основного компьютера

Вы пытались указать только определённый зум и оно не могло найти env и потому ругалось. Ошибка про LSN говорит, что программа не может найти валидный env и более ничего. Сразу же после этой ошибки укажите программе правильную папку с кэшем и оно будет работать без проблем и не нужно юзать sdb_util и сбрасывать LSN. Т.е. кэш на основном компьютере у вас небыл испорчен, просто были неправильные действия пользователя.

А вот тут я бы поспорил. Программа не ругалась о том, что что-то не так, а "вываливалась" с исключением. После сброса LSN программа несмотря на то, что ей был указан не корректный путь перестала "падать" с исключением, хотя и то, что от неё ожидал пользователь не делала.

Я свою конкретную проблему решил. Но мне кажется, что в код SAS.Планета стоит добавить несколько дополнительных проверок на случай некорректно введенных пользователем данных. Ну или хотя бы в обработчике исключения в этом месте добавить вывод сообщения: "Не удается найти корректное окружение базы данных, возможно оно повреждено или вы просто неверно указали путь к корневому каталогу обрабатываемой карты. Если путь указан верно, но это сообщение продолжает появляться, то попробуйте сбросить LSN базы данных используя соответствующий режим в программе sdb_util".

[zed]

так и внутри каждого масштаба.

Её там быть не должно.

После сброса LSN программа несмотря на то, что ей был указан не корректный путь перестала "падать" с исключением, хотя и то, что от неё ожидал пользователь не делала.

После сброса LSN и не найдя папку env, программа создаёт эту самую папку в том месте, где она предпологаемо должна находится (исходя из корневого пути кэша). Вот поэтому у вас и стали появляться папки внутри каждого масштаба.

Вы сделали тотальное количество ошибок, при попытке импортировать кэш. Вот прямо во всех местах, где можно было ошибиться, вы ошиблись. Случаем не тестировщиком работаете?

Но мне кажется, что в код SAS.Планета стоит добавить несколько дополнительных проверок на случай некорректно введенных пользователем данных.

Вносите предложения в багтрекер. И набив гору шишек, можете что-нибудь полезное написать в нашу wiki: http://sasgis.org/wikisasiya

[Thorax]

Подскажите, пожалуйста, а есть возможность конвертировать версионный кеша Беркли обратно в любой другой? Пытаюсь это сделать через "Управление кешем": что с галочкой "Обрабатывать только тайлы с версией", что без оной - конвертация заканчивается без ошибок, но с нулями обработанных и пропущенных тайлов. Создается пустой каталог-приемник. Тип тайла (jpg/PNG) правильный. Что я делаю не так?

[zed]

Подскажите, пожалуйста, а есть возможность конвертировать версионный кеша Беркли обратно в любой другой?

Есть.

Пытаюсь это сделать через "Управление кешем"

Покажите скриншот окна Управление кэшем.

[Thorax]

Вот скриншот. Что любопытно, в вер ионный кеш перегоняется без вопросов