Редактирование тайлов из кеша в berkeley?

[T_Im]

Задача: есть уже скачанные кеши, (десятки тысяч тайлов), с которыми необходимо провести цветокоррекцию. Если бы снимки не отправились в небытие на серверах, можно было бы перекачать с использованием перлового прокси отсюда viewtopic.php?f=3&t=2206.

Практически несложно экспортировать кеш из berkeley в файловый кеш САС, обработать скриптом потайлово, и импортировать обратно в berkeley, однако это не есть правильно и, к тому же, сильно затратно.

Поэтому возник вопрос: кто нибудь работал из Perl с кешами berkeley? Есть ли какие примеры на Перле, как потайлово прочитать существующий berkeley-кеш САС?

Если вариант с прямой работой из Перла с berkeley не пройдет, то возникает второй вопрос: как можно поднять сервер, чтобы с него через прокси скачать уже откорректированные тайлы (т.е. построить такую цепочку: berkeley-кеш->сервер на локалхосте->прокси на локалхосте->SAS->откорректированный berkeley-кеш).

В каком направлении проще копать?

[vdemidov]

Проще всего копать в сторону делфи. То есть или дописать новый функционал в САС, или сделать отдельную утилиту на базе исходников САСа.

[T_Im]

Проще всего копать в сторону делфи. То есть или дописать новый функционал в САС, или сделать отдельную утилиту на базе исходников САСа.

Конечно, приделать обработку тайлов в "Управление кешем", или в "Операции с выделенной областью" было бы замечательно.
Теоретически, обработка тайлов довольно проста - в обрабатывающем прокси она занимает от силы полтора десятка однотипных строк.
Но вот стоит посмотреть Дэлфи API - и сразу становится грустно. Я писал обрабатывающий тайлы прокси на PerlMagick API, который хорошо документирован http://www.imagemagick.org/script/perl-magick.php и в сети по нему куча инфы и примеров.
С Дэлфи API все печальнее: с официального сайта ссылка идет сюда http://wiki.freepascal.org/PascalMagick , где сказано, что пакет входит в состав FreePascal и приведен единственный пример использования. Ни документации, ни самого пакета.
При этом, в пакет FreePascal по видимому входит лишь небольшая часть функций ImageMagick, остальные функции надо брать из сишных библиотек ImageMagick вручную http://wiki.freepascal.org/Creating_bin ... _to_Pascal

Для человека, незнакомого с Дэлфи, это все выглядит неподъемным (тут уж проще будет разобраться с работой bdb на перле).

[vdemidov]

ИМХО воспроизвести на перле работу с тайлохранилищем в беркли будет сложнее, чем реализовать операции с картинками на делфи.

[zed]

На перле не видел, а на питоне есть: https://github.com/buddebej/ol3-dem/blo ... splanet.py правда там только чтение и только неверсионный кэш, но всё реально, было бы желание

[lLan]

Пробую подключиться к BerkeleyDB из Perl-a.
Код вот такой:

Код: Выделить всё

#!/usr/bin/perl
use warnings;
use strict;
use BerkeleyDB;

my %hash;
my $key;

tie %hash, 'BerkeleyDB::Hash',
#-Flags => DB_CREATE,
-Filename => "0.0.sdb"
or die "Could not read file '0.0.sdb': $!\n";

foreach $key (keys %hash) {
   print "$key => $hash{$key}\n";
}

untie %hash;

Либо - другой вариант доступа через DB_File:

Код: Выделить всё

#!/usr/bin/perl
use warnings;
use strict;
use DB_File;

my %hash;
my $key;

tie %hash, "DB_File", "0.0.sdb"
  or die "Could not create file '0.0.sdb': $!\n";

foreach $key (keys %hash) {
   print "$key => $hash{$key}\n";
}

untie %hash;

Возвращает ошибку:

Could not create file '0.0.sdb': Нет такого файла или каталога

С самостоятельно созданной базой скрипт работает. Позволяет записать и прочитать пары ключ-значение.
Подозреваю, что причина в особенном формате базы, которая используется SasPlanet.
Может подскажите, какие ключи использовать, чтобы научиться читать эту базу?

[zed]

У нас Btree, а не Hash:

Код: Выделить всё

$db  = tie %hash, 'BerkeleyDB::Btree', [OPTIONS] ;

И в опциях нужно указывать на env, который нужно создовать на шаг выше:

Код: Выделить всё

$env = new BerkeleyDB::Env [OPTIONS] ;

[lLan]

Делаю так:

Код: Выделить всё

#!/usr/bin/perl
use warnings;
use strict;
use BerkeleyDB;

my %hash;
my $key;

my $env = new BerkeleyDB::Env
         -ErrFile => "/www/sasplanet/env1/err",
            -Config => { DB_DATA_DIR => "/www/sasplanet/env",
                         DB_LOG_DIR  => "/www/sasplanet/env",
                         DB_TMP_DIR  => "/www/sasplanet/env"
                        } or die "Could not create ENV: $!\n" ;
my $db  = tie %hash, 'BerkeleyDB::Btree',
         -Filename => "/www/sasplanet/z3/0/0/0.0.sdb",
         -Env => $env
         or die "Could not read file '0.0.sdb': $!\n" ;

foreach $key (keys %hash) {
   print "$key => $hash{$key}\n";
}

untie %hash;

Падает на 14 строке - Could not create ENV: Нет такого файла или каталога
Если убрать проверку, проигнорировать эту ошибку, то падает на 18 строке
Could not read file '0.0.sdb': Нет такого файла или каталога
Подскажите, что я делаю не так?

[zed]

Как минимум, DB_DATA_DIR указан неверно. Вот дефолтный конфиг для env (файл DB_CONFIG):

Код: Выделить всё

set_flags DB_TXN_NOWAIT on
set_flags DB_TXN_WRITE_NOSYNC off
set_lg_dir .
set_data_dir ..
set_cachesize 0 2097152 1
set_lg_max 10485760
set_lg_bsize 2097152
log_set_config DB_LOG_AUTO_REMOVE on

Не понятно, зачем указывается DB_TMP_DIR. Плюс, почитайте свой ErrFile, раз уж вы его указали, может там что-то дельное написано?

Env можно создавать без опции -Config, поскольку при наличии файла DB_CONFIG настройки подхватываются оттуда, а в кэше Беркли, созданном в SAS, этот файл всегда присутствует. Единственное, что при создании env нужно указать его home, чтобы оно знало откуда брать конфиг и куда всё сохранять. У вас home никак не указан вообще.

И в SAS env создаётся с флагами:

Код: Выделить всё

        DB_CREATE_ or
        DB_RECOVER or
        DB_INIT_LOCK or
        DB_INIT_LOG or
        DB_INIT_MPOOL or
        DB_INIT_TXN or
        DB_REGISTER or
        DB_THREAD

[lLan]

Создаю ENV так:

Код: Выделить всё

my $env = new BerkeleyDB::Env
         -ErrFile => "/www/sasplanet/sat0/err",
         -Home => "/www/sasplanet/sat0/env",
         -Flags => DB_CREATE or DB_RECOVER or DB_INIT_LOCK or DB_INIT_LOG or DB_INIT_MPOOL or DB_INIT_TXN or DB_REGISTER or DB_THREAD
         #-Config => { DB_DATA_DIR => "/www/sasplanet/sat0",
                        # DB_LOG_DIR  => "/www/sasplanet/sat0/env",
         #}
                  or die "Could not create ENV: $!\n";

Эта часть кода заработала.
В err лежит фраза: "Build signature doesn't match environment"
А вот вторая часть кода не работает:

Код: Выделить всё

my $db  = tie %hash, 'BerkeleyDB::Btree',
         -Filename => "/www/sasplanet/sat0/z3/0/0/0.0.sdb",
         -Env => $env
          or die "Could not read file '0.0.sdb': $!\n" ;

Как альтернативу, я пробую обойтись без ENV. При помощи sdb_util.exe делаю Prepare cache for backup (reset LSN) [cmd: db_load -r lsn]
И после этого пытаюсь просто открыть полученный файл 0.0.sdb
Получаю ошибку Could not read file '0.0.sdb': Нет такого файла или каталога
Рядом создал базу test00.sdb - её читает и записывает отлично. Так что ошибки в пути к файлу быть не может.

О! вот так получилось сделать:

Код: Выделить всё

my $db  = tie %hash, 'BerkeleyDB::Btree',
         -Filename => "/www/sasplanet/sat0/z3/0/0/0.0.sdb",
         -Flags => DB_CREATE or DB_RECOVER or DB_INIT_LOCK or DB_INIT_LOG or DB_INIT_MPOOL or DB_INIT_TXN or DB_REGISTER or DB_THREAD,
         -Env => $env
          or die "Could not read file '0.0.sdb': $!\n" ;

Но не вывело ни одной пары ключ - значение. Копаю дальше.
Оказывается, что открытие базы работает минимально с двумя флагами:

Код: Выделить всё

-Flags => DB_REGISTER or DB_THREAD

Если хоть один убрать - не открывает.