SASGIS

Веб-картография и навигация

SAS.Планета (SASPlanet)

программа для загрузки и просмотра спутниковых снимков Земли, Луны, Марса предоставленных сервисами Google Maps и Космоснимки. Возможность работы с GPS приёмником.

Модератор: Tolik

Re: SAS.Планета (SASPlanet)

Сообщение Parasite » 05 июн 2009, 10:41

temp писал(а):Тут вы правы, прогресс идет, возможно через лет 7 винтом на 500 террабайт уже никого не удивишь

А зачем ждать так долго?
Берется кучка старых (или новых, что лучше) винтов, организуется RAID стедствами того же FreeNAS - и телемаркет. Одно сетевое хранилище обьемом как сумма всех вставленных винтов. Класть можно точно так же по сети, удаленно. Качай - не хочу, по заполнении - вставить еще винтов, либо разово перенести на один, но побольше (а потом опять вставлять соседние). Итд. Те же три терабайта набираются практически даром, FreeNAS тоже бесплатен.
Удачи.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: SAS.Планета (SASPlanet)

Сообщение temp » 05 июн 2009, 10:43

feya писал(а): temp
В последней версии была добавлена возможность загружать покрытие geoeye.
Выбираете слой Покрытие GeoEye и загружаете.


Спасибо, скачал от 04,06.
Работает :) .
temp
Советчик
 
Сообщения: 279
Зарегистрирован: 26 мар 2009, 18:26
Откуда: UA
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: SAS.Планета (SASPlanet)

Сообщение Parasite » 05 июн 2009, 10:48

Bedazzle писал(а):Если ТОС вынести во второй файл, то поиск/добавление/удаление тайла будут мгновенными

Как это повторить и попробовать у себя, средствами штатного ВинРАР\ВинЗИП (ну или не Вин - без разницы)?

Дело-то как раз именно в том, что чтобы прочитать TOC - нужна куча памяти, если там куча записей. А куча записей там обеспечена - число тайлов огромно. В отдельном ли оно файле или тут же в архиве - дело, имхо, десятое, ТОС все равно придется читать чтобы узнать, где что лежит в контейнере архива.
Лично мне неизвестны способы выпаковывания из архива не обращаясь к ТОС (разве что "потоковые" приемы, типа того же z(g)lib - но это опять же ненулевой гимор).
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: SAS.Планета (SASPlanet)

Сообщение Bedazzle » 05 июн 2009, 11:52

Parasite писал(а):
Bedazzle писал(а):Если ТОС вынести во второй файл, то поиск/добавление/удаление тайла будут мгновенными

Как это повторить и попробовать у себя, средствами штатного ВинРАР\ВинЗИП (ну или не Вин - без разницы)?


При чём тут рар/зип? Это инструменты общего назначения, а для SAS необходимы свои методы работы с тайлами.
Ну, или продолжать мучаться как сейчас с миллионами файлов.

Parasite писал(а):Дело-то как раз именно в том, что чтобы прочитать TOC - нужна куча памяти, если там куча записей. А куча записей там обеспечена - число тайлов огромно.


Не совсем так. Идея в том, чтобы не держать ВСЕ тайлы в одном файле, а дробить на куски - по городам, или просто квадратам (если необходимо работать со снимком всей Земли).
В начало ТОС прописывать границы региона. Тогда и обновление с делёжкой кэшем можно делать пофайлово - заменили файл, получили обновлённый регион.
В пользу дробления на куски говорит также и ограничение файловых систем на размер файла. И записать на пару-тройку двд без дополнительных программ-сплиттеров можно.

В качестве приоритета при делёжке кэшем можно использовать имя файла - скажем, Moscow_18_20090104 и Moscow_18_20090625 - сначала поиск будет происходить в июньском.

И если говорить о памяти - 2 миллиона записей по 100 байт - 200 мегабайт. Не так уж и много, если учесть прирост в производительности. :)
Bedazzle
Новичок
 
Сообщения: 27
Зарегистрирован: 23 май 2009, 00:49
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: SAS.Планета (SASPlanet)

Сообщение temp » 05 июн 2009, 12:25

Parasite писал(а):А зачем ждать так долго?
Берется кучка старых (или новых, что лучше) винтов, организуется RAID стедствами того же FreeNAS - и телемаркет. Одно сетевое хранилище обьемом как сумма всех вставленных винтов. Класть можно точно так же по сети, удаленно. Качай - не хочу, по заполнении - вставить еще винтов, либо разово перенести на один, но побольше (а потом опять вставлять соседние). Итд. Те же три терабайта набираются практически даром, FreeNAS тоже бесплатен.
Удачи.

Извините, сразу не увидел Вашего сообщения.
Да, можно и RAID-масив, но у меня пока запросы поскромнее, все в радиусе 100-200 км от себя + Крым, выйдет гбайт 70. Мне этого вполне хватит.
А для рассматривания других стран мне более удобен Google Earth, когда закончатся два гига родного кеша начну пользоваться геокешером.
temp
Советчик
 
Сообщения: 279
Зарегистрирован: 26 мар 2009, 18:26
Откуда: UA
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: SAS.Планета (SASPlanet)

Сообщение Parasite » 05 июн 2009, 14:58

Bedazzle писал(а):
Parasite писал(а):Как это повторить и попробовать у себя, средствами штатного ВинРАР\ВинЗИП (ну или не Вин - без разницы)?

При чём тут рар/зип? Это инструменты общего назначения,

Притом, что Вы невнимательно читали топикстартер. Слова "архивируем" и ".zip" там вполне себе читаемы.

Bedazzle писал(а):
Parasite писал(а):Дело-то как раз именно в том, что чтобы прочитать TOC - нужна куча памяти, если там куча записей. А куча записей там обеспечена - число тайлов огромно.

Не совсем так. Идея в том, чтобы не держать ВСЕ тайлы в одном файле, а дробить на куски - по городам, или просто квадратам (если необходимо работать со снимком всей Земли).
В начало ТОС прописывать границы региона. Тогда и обновление с делёжкой кэшем можно делать пофайлово - заменили файл, получили обновлённый регион.

Если делать свое и с нуля - так проще пихать в тот же SQLite и не изобретать отдельный велосипед. Коим и обмениваться (наладив механизм (кросс)импорта\экспорта).
P2P же предлагалось в плане скачки тайлов, а не их массового обмена через диски\флешки\серверы. Дело в том, что по Вашей методике мне придется качать весь "квадрат", даже если мне нужен всего лишь 1 тайл. Это идеологически неправильно - мне проще будет скачать его с сервера напрямую.

Bedazzle писал(а):И если говорить о памяти - 2 миллиона записей по 100 байт - 200 мегабайт.

Да, только вот 2 миллиона записей (и не по 100 байт, а больше) - это всего лишь половина 12го уровня, который мало кого интересует... :)
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: SAS.Планета (SASPlanet)

Сообщение Parasite » 05 июн 2009, 15:01

temp писал(а):А для рассматривания других стран мне более удобен Google Earth, когда закончатся два гига родного кеша начну пользоваться геокешером.

Ага. Тем более на подходе полностью локальная версия ГЕ (авось на этих выходных зарелизю). :)
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: SAS.Планета (SASPlanet)

Сообщение Bedazzle » 05 июн 2009, 15:33

Parasite писал(а):
Bedazzle писал(а):При чём тут рар/зип? Это инструменты общего назначения,

Притом, что Вы невнимательно читали топикстартер.


Читал внимательно, именно потому и склоняюсь к самописной базе - чтобы иметь возможность как быстро переносить части кэша, так и внедрить P2P.

Parasite писал(а):Если делать свое и с нуля - так проще пихать в тот же SQLite и не изобретать отдельный велосипед. Коим и обмениваться (наладив механизм (кросс)импорта\экспорта).


Как реализовать P2P с файлом от SQLite? Всё то же потайловое обращение? Чем это будет лучше заточенного под SAS инструмента? :)

Parasite писал(а):Дело в том, что по Вашей методике мне придется качать весь "квадрат", даже если мне нужен всего лишь 1 тайл. Это идеологически неправильно - мне проще будет скачать его с сервера напрямую.


Если через торрент или осла регион - то да, весь файл. Аналогичная ситуация если кучу мелких файлов сейчас запаковать и начать раздавать - пока весь архив не заберёте, использовать его нельзя.
А в самописный P2P внедрить передачу одного тайла ничто не мешает.

Parasite писал(а):Да, только вот 2 миллиона записей (и не по 100 байт, а больше) - это всего лишь половина 12го уровня, который мало кого интересует... :)


Ну так ТОС-файлов скажем, по 50 мегабайт для разных регионов и зумов можно создать множество.
Bedazzle
Новичок
 
Сообщения: 27
Зарегистрирован: 23 май 2009, 00:49
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: SAS.Планета (SASPlanet)

Сообщение Parasite » 05 июн 2009, 17:29

Bedazzle писал(а):
Parasite писал(а):
Bedazzle писал(а):При чём тут рар/зип? Это инструменты общего назначения,

Притом, что Вы невнимательно читали топикстартер.

Читал внимательно, именно потому и склоняюсь к самописной базе - чтобы иметь возможность как быстро переносить части кэша, так и внедрить P2P.

Это две разных и независимых задачи (P2P и локальная база) - посему вероятность увидеть это воплощенным в запрашиваемом виде ровно в 4 раза ниже. :)

На самом же деле, P2P можно проработать и в отрыве от базы - достаточно при индексации\хешировании\поиске\сохранении\передаче тайла учитывать ВЕСЬ путь до него (предварительно введя номер версии в путь тоже), а не только filename (как это сейчас в подавляющем большинстве существующих P2P реализаций). В таком виде, имхо, P2P можно прикрутить и к тайловому кэшу.

База же в этом раскладе будет просто одним из типов локального хранения кэша.

Bedazzle писал(а):Чем это будет лучше заточенного под SAS инструмента? :)

Тем, что не нужно смешивать локальное хранение кэша с логикой его глобальной скачки, наверное. Я - про второе. А первое надо просто реализовать плагином (в который можно вести и функции импорта\экспорта, для обмена кусками кэша в "более мелких базах").

Bedazzle писал(а):
Parasite писал(а):Дело в том, что по Вашей методике мне придется качать весь "квадрат", даже если мне нужен всего лишь 1 тайл. Это идеологически неправильно - мне проще будет скачать его с сервера напрямую.

А в самописный P2P внедрить передачу одного тайла ничто не мешает.

Разумеется не мешает (пофиксив некоторые техн.вопросы, изложенные ранее). Я и говорил, что все упирается в человеко\часы.

Bedazzle писал(а):
Parasite писал(а):Да, только вот 2 миллиона записей (и не по 100 байт, а больше) - это всего лишь половина 12го уровня, который мало кого интересует... :)

Ну так ТОС-файлов скажем, по 50 мегабайт для разных регионов и зумов можно создать множество.

И что предлагается с ними делать, если мне нужен ОДИН тайл? Качать 50Мб ТОСа + контент? Увольте - на гугле есть потайлово и вот прямо сейчас. :) Если на гугле забанят - я готов взять этот же тайл по P2P, одновременно делясь своим с другими. Но вот когда из-за одного тайла я должен качать в тысячи раз бОльшие обьемы - я, пожалуй, подожду до завтра, меня разбанят и я таки скачаю с гугля. Ну или через проксик, оттуда же.

Дело опять же в том, что большинство заинтересованных живут довольно далеко друг от друга (географически), и обмен "на дискетках" однозначно не будет массовым. Для своих собственных целей и целей своих друзей - можно обменяться разово поимев немножко геморроя и без ухищрений с базой. А вот вопрос обмена потайлово в обход первоисточника - весьма и весьма нужен всем, имхо, ибо гугль банит таки постоянно и всех в равной мере. :(
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: SAS.Планета (SASPlanet)

Сообщение Bedazzle » 05 июн 2009, 17:42

Parasite писал(а):И что предлагается с ними делать, если мне нужен ОДИН тайл? Качать 50Мб ТОСа + контент?


Брать только тайл, ТОС на стороне клиента создаётся свой.
Весь ТОС необходимо качать, если происходит копирование всего региона (любым методом - по локалке, или через P2P), и нет желания индексировать файл с тайлами.

И касательно копирования тайлов не с родного ресурса, а в обход - не забываем возможность забрать/обновить одним-двумя файлами весь регион, скажем, Питер или Москву.
Bedazzle
Новичок
 
Сообщения: 27
Зарегистрирован: 23 май 2009, 00:49
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Пред.След.

Вернуться в SAS.Планета

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 35

cron