Использование в Sas.Планета кеша в формате Berkeley

[zed]

У меня есть мысли, как прикрутить к SAS базы данных:
1. Добавляем кэш sas в базы;
2. Включаем в sas работу через прокси-сервер (например, через HandyCache);
3. Режим работы sas с кэшем - только интернет или интернет/кэш;
4. Настраиваем прокси таким образом, чтобы запросы от sas он обрабатывал через поиск в наших базах (через плагин).
Для выполнения четвёртого пункта, понадобиться написать плагин к HandyCache (благо HC умеет работать со скриптами), который и будет работать с базами. И уже плагин будет определять режим работы: только кэш, интернет/кэш или только инет. Т.о. можно прикрутить кэш с базами не только к sas, но и практически ко всем подобным утилитам, умеющим работать через прокси. Причём, кэш будет один и для всех сразу. Появляется возможность сделать сетевой кэш, и в принципе, его можно сделать распределённым (часть у Васи, часть у Пети и т.д.). А для построения jpg нужна будет дополнительная утилита, которая прямо из баз, для своих нужд, будет брать картинки.

[Parasite]

2. По поводу trueCrypt - на сколько я понимаю, эта та же самая файловая система, которая обделена индексами

TrueCrypt не предлагает какой-то своей ФС. Это обычный контейнер с шифрующей на лету "прослойкой". Для системы смонтированный контейнер видится как обычный диск (в одной из поддерживаемых осью нативно систем).

в следствии этого ни о каком увеличении скорости работы говорить не возможно.

Почему невозможно?
Файлы физически хранятся в одном контейнере (грубо говоря - в одном большом файле), и выбираются оттуда "виртуально" - а не физически, путем мотыляния головок диска к ФАТу и к тому или иному отдельному файлу на винте. Последовательный доступ к одному большому файлу всегда будет быстрее, чем к сотням тысяч мелких, раскиданных по всему диску (рандом-доступ). Более того, при втором варианте увеличивается общая фрагментация всего диска - что не добавляет ни свободного места, ни скорости доступа.

не говоря о том что кеш постоянно увеличивается в следствии новых поездок и т.д., а увеличить размер раздела нельзя !

Ну шо Вi мне за такое говорите!
1. Создать в TrueCrypt'е контейнер нужного размера (далее "новый"). Подключить его как диск.
2. Подключить старый контейнер рядышком (соседний диск)
3. В любой программе перенести все файлы с п.2 в п.1 (так как это контейнеры - то слишком много времени это не займет, см.выше).
4. Отключить старый контейнер, стереть его и забыть.
5. Далее - пользоваться новым, по необходимости увеличения и его - повторить все шаги загово.

Можно еще тупо "физически" прикрутить нужное число байт к существующему контейнеру (без необходимости создания нового), но шагов в этом случае будет несколько больше, и сама задача не столь проста.

используя "услуги" стандартной файловой системы NTFS (Fat32 отметается из-за ограничения по размеру раздела)

А чем плох размер раздела на ФАТ32?

мне приятней пользоваться программой, которая сможет предоставить весь функционал, который мне необходим

Тогда Вам придется написать СВОЮ программу. А мне - свою. И каждому участнику - тоже свою, ибо каждому необходимы разные наборы функционалов. Например лично мне жизненно необходим экспорт в Zoomify, Вам же, я более чем уверен - он абсолютно не нужен. И так далее.

[Parasite]

У меня есть мысли, как прикрутить к SAS базы данных:
1. Добавляем кэш sas в базы;
2. Включаем в sas работу через прокси-сервер (например, через HandyCache);
3. Режим работы sas с кэшем - только интернет или интернет/кэш;
4. Настраиваем прокси таким образом, чтобы запросы от sas он обрабатывал через поиск в наших базах (через плагин).

Не проще ли:
1) поставить на локалхост бесплатного и маленького Апача и натравить его на работу с базой данных MySQL (столь же бесплатной и маленькой). Оба сих продукта могут работать без установки и могут быть включены в состав дистрибутива SASa.
2) обучить SAS класть в кэш не на диск, а в базовод через п.1 (потребуется минимальная переделка кода SASa в блоке сохранения кэша) - либо же делать это через внешний плагин.

В сухом остатке - полноценная работа тулзы с полноценной же базой данных (которыми можно обмениваться\распределять\бэкапить итд), бонусом - столь же полноценный веб-сервер (который например сможет отдавать кэш в локалку для всех к нему подключившихся, в идеале - разработка полноценного веб-интерфейса а-ля maps.google.com).

[Vasya]

Parasite я надеюсь, что Вы понимаете, что данная программа предназанчина для людей, которые не только связаны с компом по рукам и ногам, а и для туристов, геокешеров, любителей путешествовать, и подобных персон. И не факт что они знакомы с такими вещами, как виртуальные разделы (контейнеры), какие-то специальные уловки для обхода ограничений определённой среды и иже с ними.

Им необходимо поставить программу, как вещь в себе, и работать с ней, а не использовать что-то дополнительное, сторонне, которое ещё и настраивать надо.
Если же это явно не подразумивается, ну что ж, не буду вам больше докучать с этим вопросов.

По поводу Fat32:

Вы не можете создать в разделе FAT32 файл, размер которого превышает значение (2^32)-1 байт (на один байт меньшее, чем 4 ГБ).

Вы не можете отформатировать том объемом более 32 гигабайт (ГБ) в файловой системе FAT32 во время установки операционной системы Windows XP. Windows XP допускает подключение и поддерживает тома FAT32 размером более 32 GB (с учетом всех прочих ограничений), но вы не можете создать том FAT32 объемом более 32 ГБ путем использования утилиты Format в процессе выполнения программы установки Windows XP. Если вам нужно отформатировать том, размер которого превышает 32 ГБ, отформатируйте его в файловой системе NTFS. Другим решением является запуск компьютера с загрузочного диска Microsoft Windows 98 или Microsoft Windows Millennium Edition (Me) и использование утилиты Format, находящейся на этом диске.

http://support.microsoft.com/kb/314463/ru

[Parasite]

Parasite я надеюсь, что Вы понимаете, что данная программа предназанчина для людей, которые не только связаны с компом по рукам и ногам, а и для туристов, геокешеров, любителей путешествовать, и подобных персон. И не факт что они знакомы с такими вещами, как виртуальные разделы (контейнеры), какие-то специальные уловки для обхода ограничений определённой среды и иже с ними...
Если же это явно не подразумивается, ну что ж, не буду вам больше докучать с этим вопросов.

Уважаемый Вася, проблемы технической подготовленности пользователя юзающего ту или иную программу - вряд ли нужно вменять самой программе. Скорее это необходимо вменять данному конкретному пользователю.
99% пользователей не сумеют работать в Автокаде без предварительного обучения. Это вряд ли говорит за то, что Автокад - плохая программа.
99% пользователей не сумеют пилотировать самолет без предварительного обучения. Это вряд ли говорит за то, что самолеты - плохой транспорт.
99% пользователей не знают, что такое контейнер данных. Это вряд ли говорит за то, что их не существует.

PS: насколько я понимаю, данный форум предназначен для решения проблем, а не для их создания на пустом месте. Если Вы желаете их плодить, а не решать - то я Вам в этом не помощник. У меня много и других занятий, и просьба больше не отвечать мне в данном ключе и не отвлекать от общения с посетителями, ищущими пути решения проблем, а не причины не решать оные.
Благодарю.

По поводу Fat32:
Вы не можете создать в разделе FAT32 файл, размер которого превышает значение (2^32)-1 байт (на один байт меньшее, чем 4 ГБ).

Уважаемый Вася, просьба таки определиться - вещаете Вы за "ограничения по размеру раздела©" (см.Ваше предыдущее сообщение), либо за "создать в разделе FAT32 файл на один байт меньше, чем 4 ГБ"©(см.Ваше текущее сообщение).
Смею Вас уведомить, что это несколько разные понятия (и да, ФАТ32 не поддерживает размеров непрерывных файлов свыше 4Гб без одного байта).

Вы не можете отформатировать том объемом более 32 гигабайт (ГБ) в файловой системе FAT32 во время установки операционной системы Windows XP.

Ключевые слова - "во время установки операционной системы Windows XP"©. По большому счету - WindowsXP вообще не операционная система, и вышеуказанная цитата - просто один из гвоздиков в гробу оной (но это уже оффтоп).
Максимальный же размер раздела на FAT32 - в районе 8Тб на раздел.

[svp]

не говоря о том что кеш постоянно увеличивается в следствии новых поездок и т.д., а увеличить размер раздела нельзя !

Ну шо Вi мне за такое говорите!
1. Создать в TrueCrypt'е контейнер нужного размера (далее "новый"). Подключить его как диск.
2. Подключить старый контейнер рядышком (соседний диск)
3. В любой программе перенести все файлы с п.2 в п.1 (так как это контейнеры - то слишком много времени это не займет, см.выше).
4. Отключить старый контейнер, стереть его и забыть.
5. Далее - пользоваться новым, по необходимости увеличения и его - повторить все шаги загово.

Содержимое моего скромного шести гигового кеша копировалось из одного TrueCrypt-контейнера в другой 4 (ЧЕТЫРЕ!) часа. Сейчас сейчас восьми гиговый контейнер почти заполнен. Мало того, что для его расширения мне надо иметь свободным цже 10 гигов, так ещё и копирование будет происходить часов шесть! А как быть тем, у кого кеш 20 гигабайт? Им надо иметь свободным на винте 25 гиг и копировать кеш неделю?

Не проще ли:
1) поставить на локалхост бесплатного и маленького Апача и натравить его на работу с базой данных MySQL (столь же бесплатной и маленькой). Оба сих продукта могут работать без установки и могут быть включены в состав дистрибутива SASa.
2) обучить SAS класть в кэш не на диск, а в базовод через п.1 (потребуется минимальная переделка кода SASa в блоке сохранения кэша) - либо же делать это через внешний плагин.

В сухом остатке - полноценная работа тулзы с полноценной же базой данных (которыми можно обмениваться\распределять\бэкапить итд), бонусом - столь же полноценный веб-сервер (который например сможет отдавать кеш в локалку для всех к нему подключившихся, в идеале - разработка полноценного веб-интерфейса а-ля maps.google.com).

А это очень и очень хорошая и правильная идея. Всё что нужно для правильной конфигурации всего этого хозяйство можно описать скриптом и сделать автоматически. Поднять эту систему можно даже на любом ноутбуке. Причём пользователю не надо понимать как это всё работает.
Вариант с прокси хорош единственно тем, что он мог бы подменять тайлы для ЛЮБЫХ программ, включая тот же Zoomify.

Уважаемый Вася, проблемы технической подготовленности пользователя юзающего ту или иную программу - вряд ли нужно вменять самой программе. Скорее это необходимо вменять данному конкретному пользователю.
99% пользователей не сумеют работать в Автокаде без предварительного обучения. Это вряд ли говорит за то, что Автокад - плохая программа.
99% пользователей не сумеют пилотировать самолет без предварительного обучения. Это вряд ли говорит за то, что самолеты - плохой транспорт.
99% пользователей не знают, что такое контейнер данных. Это вряд ли говорит за то, что их не существует.

Это абсурд! Чтобы пользоваться ворлом пользователь не должен уметь ручками поправить где надо XML! Чтобы настроить IP-протокол пользователю не обязательно знать WMI!
Тот же пилот не обязан уметь ремонтировать или даже заменять гироскопы! Рядовой пользователь автокада должен уметь чертить в автокаде, но не обязан уметь писать для него расширения! Что бы было, если бы автокад поставлялся в сборке, не позволяющей немедленно начать работу, а требовал предварительной компиляции? Софт надо писать для обычных людей, а не для любителей всё конфигурировать ручками. И в данном случае такой софт написать можно. Нет здесь нерешаемых проблем. Я так понимаю есть какие-то приоритеты у автора и есть недостаток времени.

Давайте попробуем поголосовать за направления. Моё мнение:

-- беркли и иже с ними, объединяющие кеш в единый файл -- хорошо.
-- вручную пользователем настраиваемые разделы-контейнеры фиксированного объёма с файловой системой -- плохо.
-- раздача/получение кеша по сети через прокси/веб-сервер -- хорошо
-- хранение тайлов в файловой системе -- плохо
-- отделение закачки тайлов в отдельный механизм, не зависящий от визуальной части Планеты -- хорошо
Речь идёт о том, что хорошо бы вынести загрузку тайлов и поручить её тому же прокси серверу, который бы, благодаря скриптам, размещал закешированные тайлы в БД. Таким образом к этому прокси-серверу совершенно прозрачно могли бы подключаться любые картографические клиенты (в том числе реализованные на яваскрипте веб-клиенты).

PS: насколько я понимаю, данный форум предназначен для решения проблем

Прошу учесть, что это форум разработчика, и мы здесь помогаем ему решить его, а не ваши, Parasite, проблемы. А у вс с ним (с разработчиком) несколько разные задачи. Ваша задача (утрирую) накачать и наклеить себе карт. А его задача сделать программный продукт, полезный для многих пользователей.

Я прошу прощения за оффтопик.

[Parasite]

Содержимое моего скромного шести гигового кеша копировалось из одного TrueCrypt-контейнера в другой 4 (ЧЕТЫРЕ!) часа. Сейчас сейчас восьми гиговый контейнер почти заполнен. Мало того, что для его расширения мне надо иметь свободным цже 10 гигов, так ещё и копирование будет происходить часов шесть! А как быть тем, у кого кеш 20 гигабайт? Им надо иметь свободным на винте 25 гиг и копировать кеш неделю?

Вы это говорите немного не по адресу. Не я предложил юзать TrueCrypt для SAS.
PS: юзаю оный несколько лет. Копирование двухгигового контейнера с винта в соседний на флешке проходит за время не более 10 минут, если заюзать рамдиск - то практически мгновенно. Правда, файлов в нем не миллион - а всего несколько, но больших (датабаза).

Вариант с прокси хорош единственно тем, что он мог бы подменять тайлы для ЛЮБЫХ программ, включая тот же Zoomify.

Дак для нее не надо подменять. Для нее надо всего лишь переименовывать готовые и складывать в зумифайные папочки (которые в любом случае другие чем в SASe, и которые в любом случае должны существовать отдельно от кэша SASa).

Уважаемый Вася, проблемы технической подготовленности пользователя юзающего ту или иную программу - вряд ли нужно вменять самой программе. Скорее это необходимо вменять данному конкретному пользователю.
99% пользователей не сумеют работать в Автокаде без предварительного обучения. Это вряд ли говорит за то, что Автокад - плохая программа.
99% пользователей не сумеют пилотировать самолет без предварительного обучения. Это вряд ли говорит за то, что самолеты - плохой транспорт.
99% пользователей не знают, что такое контейнер данных. Это вряд ли говорит за то, что их не существует.

Это абсурд! Чтобы пользоваться ворлом пользователь не должен уметь ручками поправить где надо XML!

А чтобы водить машину - не дОлжно учить правила движения? Ну-ну.
Вы утверждаете, что при сложности машины стремящейся к бесконечности - уровень знаний ее оператора (особенно о данной машине) имеет право стремиться к нулю? Ошибка номер раз (благо не только Ваша личная), уже приведшая к наводнению околокомпьютерного пространства невиданным числом ламеров и техн.дятлов. Осмелюсь напомнить, что много ранее нужно было прослушать курсы, сдать экзамены и получить допуск - только для того, чтобы иметь право зайти в "лабораторию кибернетики"©. И это было правильно.

Чтобы настроить IP-протокол пользователю не обязательно знать WMI!

Тогда не стоит называть ввод пары начальных циферок - "настройкой IP-протокола", я Вас умоляю. Подавляющее большинство понятия не имеет, что такое MTU и TTL к примеру - а ведь это тоже настройка протоколов...

PS: насколько я понимаю, данный форум предназначен для решения проблем

Прошу учесть, что это форум разработчика, и мы здесь помогаем ему решить его, а не ваши, Parasite, проблемы.

Прекратите меня смешить, пожалуйста. Что есть моя проблема в данном вопросе? Отход от использования TrueCrypt'a? Так я его изначально под SAS не пользую. Сохранение в базовод? Дак на перле сохранение в БД делается парой строк безо всяких плясок с бубном. Итд.

Единственная моя проблема - это то, что я, видя техн.вопрос - берусь его обсуждать и предлагать пути решения. А ведь мог бы спокойно и молча пройти мимо.

Ваша задача (утрирую) накачать и наклеить себе карт.

Прекратите, ради Христа. Все нужные мне карты давным-давно наклеены из ГЕ (где нет лого на тайлах) с помощью самописных тулз.
Автору предложено (по заинтересованности) ввести функционал ГЕ, и также уже предложен алгоритм для склейки больших карт (если ему это нужно, собссно). Оба предложения - рабочие по факту, засим все.

PS: и завязываем с оффтопом, плиз. Время теряем...

[zed]

Сохранение в базовод? Дак на перле сохранение в БД делается парой строк безо всяких плясок с бубном. Итд.

Так научите, как прикрутить хоть какую базу к sas, и желательно, с пошаговой инструкцией, и с того момента, где я ничего ни про базы, ни про перлы не знаю, и ни разу не слышал. Что установить, где это скачать, какие и где именно настройки нужно производить. Напишите инструкцию для ламера, у которого нет удостоверения на допуск к работе с компом? Буду очень признателен, и думаю, что не я один.

Вопрос про прокси и базы, я затронул не случайно. Просто у меня уже есть рабочая связка прокси-сервер - плагин (dll), единственное, что плагин пока что умеет лишь брать файлы из папки, и нужно к нему всего-навсего прикрутить какую-нить базу, чтоб "мечту сделать явью". Вопрос какую базу и КАК её использовать (на программном уровне). Чувствую, что в одиночку, решение этих вопросов будет медленным, вот и прошу совета, так сказать, у "коллективного разума"

[Parasite]

Так научите, как прикрутить хоть какую базу к sas, и желательно, с пошаговой инструкцией, и с того момента, где я ничего ни про базы, ни про перлы не знаю, и ни разу не слышал. Что установить, где это скачать, какие и где именно настройки нужно производить.

Без вышеупомянутой нужной переделки кода самого SASа это будет сложнее. Допустим, автор САСа согласен изменить код. Тогда в общем и целом - последовательность действий такова:
1. Ставим Апача (http://www.apache.org). Настраиваем под локалхост, запускаем, забываем.
2. Ставим мускул (http://www.mysql.com). Настраиваем, запускаем, создаем нужную базу, забываем.
3. Ставим интерпретатор перла (сложнее в программировании) либо PHP (проще, для нубов). Прикручиваем модуль к апачу, забываем.
3.1 Для легкости управления базой данных - ставим пакет MyPHPadmin, прописываем конфиг до базы, забываем.
На этом установку доп.софта можно считать законченной.

Чтобы не париться со всем вышеперечисленным - можно просто качнуть и поставить пакет Денвер (http://www.denwer.ru), там все это есть и уже настроенное на дефолтные пути (кои элементарно меняются в конфигах). Общий размер пакета 3 (ТРИ) мегабайта на всё. Идеальная сборка для отладки тестовых проектов.

Далее:
4. Создаем два файла get.php и put.php (ну или .pl). Это будут наши основные гейты на получение и сохранение в БД. пути ображения к ним будут, соответственно, http://localhost/put.php?параметры--->, http://localhost/get.php?параметры--->. Параметров может быть сколь угодно много, и их можно будет добавлять впоследствии без перекачивания всей базы. На наст.момент, как я вижу - нам нужны параметры "id карты","X" блока на этой карте, "Y" блока и "Zoom". Для начала.
5. Путем элементарнейшего кодинга обучаем первый файл - брать BINARY из базы данных согласно полей в <---параметры--->, а второй - соответственно, ложить в базу данных согласно полей <---параметры--->.
6. Соответственно, для получения тайла из кэша SAS должен будет обратиться по адресу, к примеру, http://localhost/get.php?id=1&x=2&y=4&z=3 и взять выданный сервером бинарник либо текстовый репорт (если тайла нет, к примеру). А для сохранения в кэш - http://localhost/put.php?id=1&x=2&y=4&z=3 + сам бинарник как аттач.

При введении такой схемы открывается широчайшее поле для творчества: например, можно хранить разные версии одних и тех же тайлов в БД (добавляем параметр "version"), можно отмечать в БД тайлы которые ранее проверялись на сервере и не существовали (например, вместо бинарника класть #00 и анализировать оное при выдаче в get.php), можно делать какие угодно репорты из БД (например сравнение между версиями и точный вывод всех мест которые были изменены гуглем в новой версии), можно как угодно выводить информацию (например гуглевый вид со спутника по состоянию "год назад" + дороги из VE по состоянию на щас + ландшафт + карта) итд итп. Можно вообще не качать SASом, а просто передавать сгенерированный прямой УРЛ в get.php, который и будет выкачивать в фоновом режиме и хоть в десяток потоков и напрямую класть в кэш... А банальным изменением http://localhost/ на http://vasya_pupkin/ - можно элементарнейше подключиться к БД соседа, который тоже пользуется данной программой, и делать все вышеуказанное уже на базе его кэша...........итд итп.

PS: именно схема обработчика запросов+БД и сделана в гуглевом ГЕ. Правда, она там на порядки более сложная, ну да этого в данном вопросе и не требуется.

[zed]

Есть вопрос: насколько хорошо подходит MySQL к нашему случаю (хранение тысяч картинок)? И почему изначально предлагались базы Беркли, в чём их преимущество/недостатки перед SQL?