Использование в Sas.Планета кеша в формате Berkeley

[Parasite]

какую-то субд, разбираться с ее настройками, устанавливать на все машины

Зачем на все-то?

[xromeo]

Да даже если и не на все (я не особо силён в сетевых БД), всё равно не вариант, впрочем, это уже не совсем по данной теме. Да и вопрос уже решён и потому не актуален

[DJ VK]

Наводит на размышления.
Задача 1. Скачать в папку новый снимок (формат SAS). Скопировать его с заменой в аналогичную БД Беркли.
Если делать это с Гуглем, то скорость упаковки 80-200+ тайлов в секунду.
Если делать это с Яндексом, то скорость упаковки 100 тайлов за 6-12 секунд.
То есть просто жесть какая маленькая.

Задача 2. Сформировать нижележащие слои.
Также скорость заметно отличается.

Раньше на WinXp (теперь win7-64) работало гораздо быстрее все.
Что бы это могло быть?
- Дело в ОС (одноядерный пень 3000HT под семерку слабоват) ?
- Дело в харде (дефрагментация итд) ?
- Дело в качестве \размере jpg тайлов у разных ресуров снимков?
- Дело в БД Беркли?

[vdemidov]

Ну, я бы посоветовал, в первую очередь проверить те же операции, но только в чистой версии программы на чистых тайлохранилищах. Скорее всего дело в конкретных экземплярах баз. Но нужно проверять. Плюс крайне желательно скорость сравнивать не на глаз, а таки засекать время более-менее продолжительной операции.

[zed]

Если делать это с Гуглем, то скорость упаковки 80-200+ тайлов в секунду.
Если делать это с Яндексом, то скорость упаковки 100 тайлов за 6-12 секунд.

А DB_CONFIG у этих карт чем-то отличается? И да, я бы как минимум проверил ситуацию на пустом кэше и на другом винте.

[DJ VK]

А DB_CONFIG у этих карт чем-то отличается?

Это общее

set_lg_dir .
set_data_dir ..
set_lg_max 10485760
set_lg_bsize 2097152
set_cachesize 0 2097152 1
log_set_config DB_LOG_AUTO_REMOVE on

это Dekarta

set_flags DB_TXN_NOWAIT on
set_flags DB_TXN_WRITE_NOSYNC off

это Google

set_flags DB_TXN_WRITE_NOSYNC on
mutex_set_max 30000

это Yandex, тот который тормозит

set_flags DB_TXN_NOSYNC off
set_flags DB_TXN_WRITE_NOSYNC off
set_flags DB_DIRECT_DB off
set_flags DB_DSYNC_DB off
log_set_config DB_LOG_DIRECT off
log_set_config DB_LOG_DSYNC off

Они сами создаются с разными конфигами значит

[zed]

Они сами создаются с разными конфигами значит

Нет, просто в разное время были разные дефолтные конфиги. Рекомендую удалить все текущие DB_CONFIG из всех кэшей и дать SAS создать актуальные.

[zed]

И кстати, Google может начать работать так же медленно как Yandex, потому что флаг DB_TXN_WRITE_NOSYNC on ускоряет запись в БД, но при этом ухудшает свойство долговечности и могут быть проблемы. Поэтому этот флаг у нас сейчас по-умолчанию отключён.

[xromeo]

Вопрос по близкой теме. Опять таки про импорт части тайлового кэша формата САС.Планеты в кэш Беркли. Выбираем "Управление кэшем", указываем, откуда, куда и что, жмём кнопку, и... если тайлов десятки тысяч, то ждём очень долгие часы, наслаждаясь при этом стрёкотом винчестера, похожим на работу двигателя трактора.

Вопрос: какой-либо штатный способ ускорить это дело и избавиться от бешеной нагрузки на диск есть? Помнится, тут описывался метод с размещением "env" на RAM-диске, но охота, чтоб всё нормально работало без применения стороннего (к тому же платного) софта и дополнительных танцев с бубнами. Может, в последних найт-билдах вопрос уже решён? Подскажите, пожалуйста.

[zed]

Вопрос: какой-либо штатный способ ускорить это дело и избавиться от бешеной нагрузки на диск есть?

Теоретически, если отключить транзакции и ведение лога, запись сильно ускорится. Это можно попробовать сделать в самописной утилите/скрипте, на свой страх и риск. О результатах экспериментов, желательно отписаться здесь.

Помнится, тут описывался метод с размещением "env" на RAM-диске, но охота, чтоб всё нормально работало без применения стороннего (к тому же платного) софта и дополнительных танцев с бубнами.

Есть много бесплатных программ для создания RAM дисков. Вот тут сравнение производительности 12 программ, большинство из которых бесплатные.

Может, в последних найт-билдах вопрос уже решён?

Нет, этим вопросом никто не занимался и не занимается.