SAS.Планета (SASPlanet)

[Parasite]

Пора делать P2P-сеть обмена тайлами между желающими...

Да это не вопрос. Чтобы с торрентами и рапидшарами не париться, можно договориться обменник сделать в сети Direct Connect.

Хех. А как Вы предлагаете бороться с фактом того, что в САСе "имя тайла" должно включать не только само имя файла как таковое (по коему поиск в сновных P2P и работает), но и полный путь до него (це раз), имя карты (а все остальные пути и имена файлов будут одинаковыми) - це два, и разные версии тайлов (когда пути и имена карт - одинаковые, а вот картинки в них уже разные) - це три? Укачав ЭТО и перезаписав к себе - Вы с вероятностью 99.9% получите зоопарк из цветных квадратиков. Предлагаете отслеживать и сортировать это все ручками?? Увольте.

Также надо будет рассмотреть факт того, что будет очень большое число мелких тайлов, и на всех может однозначно "не хватить" контрольных сумм использующихся в P2P сетях, что приведет к HASH-коллизиям и скачке совершенно разных тайлов (и, что хуже - разных частей тайла с разных пиров) под ОДНИМ CRC. P2P (в ее текущей реализации и применимо к нашей задаче) хороша именно в виде идеи, но не в виде готового инструмента для начала обмена вот прямо сейчас. В настоящее время реализация хороша для передачи единичных ОГРОМНЫХ файлов, а не огромного числа мелких...

Плюс же например в том, что так как например все тайлы покрытия океанов - одинаковые (чистый голубой квадрат) - то нет смысла хранить и тянуть все миллионы одинаковых тайлов, достаточно утянуть один и размножить у себя. Это тоже надо будет продумать как-то.

Плавно подходим к пониманию того, что для полноценного обмена нужно будет писать свой инструмент.

У меня самого пока интересного нет. Тупо качаю спутниковые карты городов и областей.

У меня лично более 400Гб кэша, из них также много кэша для ГЕ.

[temp]

Поддерживаю идею относительно версий кеша. Чтобы новые тайлы копировались в другую папку и по умолчанию отображалась наиболее свежая версия, но также чтобы была возможность просматривать старый кеш.
Как это реализовать практически не знаю, но хотелось бы, т.к. будет много мороки по ручному созданию нового zmp и копированию туда старых тайлов.

У меня лично более 400Гб кэша, из них также много кэша для ГЕ.

Жесть , а какой регион? Я прикидывал что если скачаю все в радиусе 150-200 км от себя на 18 уровне (там где он есть) выйдет до 10-15 гб кеша. Крым наверное будет весить до 20-25 гб.

А 400 гбайт это все что есть доступное на 18 уровне для всей Украины надо скачать и то, наверное столько не будет.

[YuriySVik]

Други, подскажите кто знает, вопрос в следующем: к примеру закачаны карты на определенный район. Карты естественно хранятся в кеше, но вдруг на сайте появились новые(обновленные, более све-жее и возможно более качественнее) карты. При использовании «операции с выделенной областью» есть функция замены на более новые, а как быть с заменой при обычном просмотре?

[feya]

YuriySVik
Включайте просто интернет.

[YuriySVik]

Включайте просто интернет.

Спасибо, но не совсем понял, что Вы имели ввиду: просто подключение к интернету, или вместо функции «интернет и кеш»

[Parasite]

У меня лично более 400Гб кэша, из них также много кэша для ГЕ.

Жесть , а какой регион?

Весь мир, оптом.

А 400 гбайт это все что есть доступное на 18 уровне для всей Украины надо скачать и то, наверное столько не будет.

Не, до 18го я еще не добрался... Но процесс идет.

[webdev2]

Хех. А как Вы предлагаете бороться с фактом того,

Боротьба с тем, что Вы написали, элементарна, Ватсон.
По правде сказать, мне и в голову не приходила мысль раздавать тайлы по отдельности.
Выбираем регион - город или область, выделяем его полигоном, делаем экспорт тайлов в новую папку. Архивируем.
Для надежности можно добавить информацию для восстановления (в rar есть такое). Добавляем в архив специально сделанный zmp-файл карты. Чтобы каждый тип кэша лежал в своей папочке. И у нас получится не 10000, а один файл архива на карту.
Поиск я упоминал, чтобы найти в р2р-сети папку с архивами кешей. А в ней например такие файлы
МоскОблGoogleVer16_x15.zip, МоскОблGoogleVer22_x17.zip, МоскОблГенШтаб1км.zip, МоскОблШуберт19в.zip
Все ясно и понятно.

У меня лично более 400Гб кэша

Вы, батенька, гигант. Уважаю. Намедни читал, что для накопления информации тоже действует закон Мура - каждые 18 месяцев накопленная информация удваивается. И это наверное правда.
У меня кэша сильно меньше, но зато он в базе Sqlite. Я уж про это пост делал. Много удобств. И в плане переноса на ноуты/домашние/рабочие компы. И другие приятности.

Не, до 18го я еще не добрался... Но процесс идет.

Вы все левелы по нисходящей качаете? Я вот тяну только 15-й, выше можно программой достроить, а ниже далеко не для всех мест снимки есть. Тогда уж выборочно докачаю.

[Parasite]

Хех. А как Вы предлагаете бороться с фактом того,

По правде сказать, мне и в голову не приходила мысль раздавать тайлы по отдельности.

В том-то и дело, что не приходила.
А раздавать заархивированными кусками неизвестно от кого, где и как полученными - это уже давно было и без всяких P2P и прочих нововведений. P2P была предложена именно для обмена тайлами помимо основного сервера-первоисточника - читайте внимательнее. Когда, допустим, мне нужен ОДИН тайл Х-У-V на карте N, но на сервере карты N я забанен - то было бы неплохо, если бы я мог получить конкретно этот тайл другими путями от тех, у кого он уже есть, и чтобы это происходило по возможности автоматически и незаметно для меня. И разумеется без скачки многомегабайтных архивов, если мне нужен всего ОДИН тайл.

Архивируем. Чтобы каждый тип кэша лежал в своей папочке. И у нас получится не 10000, а один файл архива на карту.

Скажите, Вы когда-нибудь пробовали утоптать более-менее большое кол-во мелких файлов в один архив, а потом их распаковать - на среднестатистической машине? Я - да, и если Вы мне подскажете работающий способ разовой запаковки\переноса\распаковки, например, одного из глубоких зумов одним архивом (например, 14 - число тайлов знаете) - то я Вам буду премного благодарен. Я еще помню, как в РАРе, ЗИПе и же с ними выглядят окошечки с мессагами о переполнениях памяти вообще и макс.числа доступных файлов в архиве частности. И если утоптать в архив еще как-то можно исхитриться (например юниксовой консольной версией, которая гораздо более стабильна), да и архивация идет как правило последовательно, файл за файлом по одному добавляясь в архив - то вот распаковать штатными методами намного сложнее (при открытии архива штатным РАРом\ЗИПом сперва идет чтение и вывод ТОС всего архива с одновременным подсчетом CRC оного, и при большом количестве файлов в оном - архиватор просто-напросто вырубается\виснет с переполнением, и дальнейшей распаковки не получается, даже частичной). К Вашему сведению, от задачи копирования\переноса КУЧИ мелких файлов валится даже банальный ФАР при обычном копировании - ибо при копировании он сперва составляет очередь файлов для копирования, а если их несколько больше чем он может разово переварить - то происходит переполнение памяти уже на стадии подготовки к копированию.
Если же делать тысячи более мелких отдельных архивов (НЕ частей одного архива - ибо для архиватора это будет таки одним непрерывным архивом, со всеми вытекающими граблями описанными выше) на каждый зум, ручками - то это не стоит свеч ввиду трудоемкости и временнЫх затрат.

Я уж не говорю о том, что распаковка миллионов тайлов с архива на винт равна записи оных тайлов в ФС штатными средствами, и займет КУЧУ времени - примерно столько же, сколько обычное копирование этих файлов Эксплорером.... Попробуйте сами - для меня это уже пройденный этап, мы тут уже вполне пытались делать ФТП-обменник, и кое-кто из народа даже пользовался. Это оказалось банально НЕУДОБНЫМ даже несмотря на техн.ограничения, описанные выше.

У меня лично более 400Гб кэша

Вы, батенька, гигант. Уважаю. Намедни читал, что для накопления информации тоже действует закон Мура - каждые 18 месяцев накопленная информация удваивается. И это наверное правда.
У меня кэша сильно меньше, но зато он в базе Sqlite. Я уж про это пост делал. Много удобств. И в плане переноса на ноуты/домашние/рабочие компы. И другие приятности.

Предпочитаю карманный USB-винт на 500. Удобств еще больше, как и скорости, как и непривязанности к конкретным осям и базоводам - из удобств, например, открытые тайлы в чистом виде плюс уже встроенная в ФС индексация\журналирование без необходимости делать это сторонними средствами.

Не, до 18го я еще не добрался... Но процесс идет.

Вы все левелы по нисходящей качаете?

Да.
Вопрос крайне замедляется тем, что на первоисточнике часто меняют версии. ((((

[temp]

У меня лично более 400Гб кэша, из них также много кэша для ГЕ.

Жесть , а какой регион?

Весь мир, оптом.

А 400 гбайт это все что есть доступное на 18 уровне для всей Украины надо скачать и то, наверное столько не будет.

Не, до 18го я еще не добрался... Но процесс идет.

А смысл

Вся планета - это сотни терабайт, винтов не напасешься.
Возможно и есть смысл скачать шарик в 14 уровне и сделать так чтобы его все карты использовали его по умолчанию (Ландсат то у всех один, только по разному обработан), но не более...

[temp]

Что касается обмена кеша то тут бы больше подошел обмен в виде виртуальных дисков.

Один город на 18 уровне это примерно 200 мб.

Например Яндекс "Судак" 18 уровень - примерно 25 мбайт.

Потом просто можно добавить тайлами из виртуалки свой кеш и пользоваться.
Или же делать под каждый город (или снимок DigitalGlobe) отдельный zmp файл, чтобы в сас-планете он отображался отдельно.Так, наверное, будет даже удобнее.



P.S. недавно копировал 4,5 гб кеша, более 250 000 тайлов с одной виртуальки (4,5 гб) на другую (20 гб) - копировалось около часа.