Решение проблемы перемещения кэша

[vdemidov]

На самом деле, эти полумеры, скорее всего, ничего не решают. Ибо ОС как лазила по куче мелких файлов так и продолжить лазить. Еще и добавяться ограничения самого контейнера. А единственный плюс что можно это все как единый объект скопировать.

[ZmeiGorinich]

Ребят, такой нескромный вопрос - а у вас цель - скачать всю Землю? Вот у меня есть моя область, плюс пару городов, которые мне нужны. И всё.
Это я вот к чему - а какой объём кэша лично вы хотите набрать? 10 гигов, 100 гигов, терабайт? Может и не надо придумывать базы данных - и так всё хорошо работает, даже с пресловутым TrueCrypt'ом.
Боюсь, что попытка сделать некую базу и прикрутить к Планете сделает эту самую Планету несколько неповоротливой. Она ведь сейчас такая "легкая и пушистая" Может не надо БД, а?

[vdemidov]

Спокойствие, только спокойствие. База если и будет (а она рано или поздно таки будет), то как отдельно подключаемая альтернатива. Так что желающие ганяться за терабайтами кеша смогут на нее переключиться, а все остальные будут пользоваться так же как и пользовались

[Papazol]

Сегодня замыслил перенести накачанное на ноутбук, чтобы можно было ездить с ним. Использовал два способа: простое копирование на SD-карту, вставленную в картридер, и архиватор bsdtar. Результаты неутешительные: оба способа оказались весьма долгими. Причём просто копирование понятно, почему долгое. А вот с таром... Да, создаёт он архив очень быстро. Например, около 90 тысяч тайлов запаковал минут за 5. А вот обратный процесс... На воссоздание этих 90 тыс. файлов ушло часа 3. И это всё из-за того, что на карту разархивировал. И есть ещё один недостаток, резко ограничивающий применение tar: он требует, чтобы и архив, и место назначения лежали в одной папке. А если там не хватает места для обоих? Что-то я не обнаружил способа указать, что разархивировать надо в другую папку. Если такой существует, может, нацелите меня?

[vdemidov]

Ну, если намерены использовать именно с CD-карточки на ноуте, то я бы очень порекомендовал какой-нибудь контейнер. Например тот же трукрипт. Флешка не расчитана на такое количество файлов.

[Parasite]

На воссоздание этих 90 тыс. файлов ушло часа 3.

Скорость обмена с флешкой (особенно по RANDOM_WRITE) - в студию. Не удивляйтесь, если она окажется В РАЗЫ ниже скорости современных винчестеров.
Ну и плюс общую сабжевую геморройность работы оси с кучей мелких файлов.

И есть ещё один недостаток, резко ограничивающий применение tar: он требует, чтобы и архив, и место назначения лежали в одной папке.

Ой какая прэлесть....Это вам tar сказал, или это Вы сами за него придумали?

tarz <папка_для_переноса> <имя_контейнера.tgz>
где в <имя_контейнера.tgz> использовать абсолютные, а не относительные пути (типа "Z:\gde_to_tam\cache.tgz").

Флешка не расчитана на такое количество файлов.

Ну на самом-то деле именно флешке все равно - там точно та же ФС что и везде, FAT(32) в подавляющем большинстве случаев.
Другой вопрос - про скорость обмена, и тут уже далеко всё не так радужно..

Ребят, такой нескромный вопрос - а у вас цель - скачать всю Землю?

Ну разумеется. Причем по всем доступным сервисам. Да еще и чтобы свободное место после этого осталось.
А Вы, собственно - против?

[vdemidov]

Флешка не расчитана на такое количество файлов.

Ну на самом-то деле именно флешке все равно - там точно та же ФС что и везде, FAT(32) в подавляющем большинстве случаев.
Другой вопрос - про скорость обмена, и тут уже далеко всё не так радужно..

тут я не совсем согласен. На чтение да, без разницы, а вот запись.... Просто запись в флешке идет сразу большими блоками, а при записи любомго мелкгого файла на FAT32 операционной системе необходимо записать собственно запись в FAT. И после каждого файла этот сектор флешки перезаписывается. Вот и выходит, что линейная скорость записи на флешку может быть большой, но скорость записи одного файла включает время на перезапись FAT. И оно отнють немаленькое.

[Parasite]

тут я не совсем согласен. На чтение да, без разницы, а вот запись.... Просто запись в флешке идет сразу большими блоками, а при записи любомго мелкгого файла на FAT32 операционной системе необходимо записать собственно запись в FAT.

И флешка, и винт (и дискета, и сидюк, итд) - это всё блочные девайсы, и принципы работы с ними по большому счету одинаковы. И там, и там внесение записи в ФАТ при добавлении файла - необходимо.
И если при юзании винта (и другого fixed storage) область FATа как правило несколько раз буферизируема (в кэше оси, в кэше драйвера, во внутреннем кэше винта итд - в никсах например можно отдать всю доступную физ.память под volume cache например, и это включено по умолчанию) - то в случае removable volume чем больше буфер, тем больше потери и повреждения ФС при (случайном) вытыке носителя, и ось старается выбрать оптимальный размер буфера. Для removable volume размер буфера во много раз меньше чем для fixed, чем достигается гораздо более уверенная запись на сменный носитель - но в ущерб скорости, так как меньший буфер подразумевает бОльшую вероятность попадания "в носитель" при рандомном доступе, и где блочный носитель изначально в разы более медленен чем его буфер в памяти, и в те же разы больше по размерам. Интересующимся данным вопросом рекомендую провести сравнительный анализ в однозадачной оси (например ДОСе) со включенной буферизацией носителя в РАМе (например путем smartdrv.exe) и без оного, особенно в плане рандомного доступа.

PS: Лично я например вообще буфер на сьемный носитель отключаю, от греха.

[Papazol]

И есть ещё один недостаток, резко ограничивающий применение tar: он требует, чтобы и архив, и место назначения лежали в одной папке.

Ой какая прэлесть....Это вам tar сказал, или это Вы сами за него придумали?

tarz <папка_для_переноса> <имя_контейнера.tgz>
где в <имя_контейнера.tgz> использовать абсолютные, а не относительные пути (типа "Z:\gde_to_tam\cache.tgz").

Если почитать мой пост внимательно, то можно заметить, что речь шла не о создании архива, а о его распаковке. Так есть способ или нет?
Заранее приношу свои извинения, очень не хочу никого обижать, но масса теоретических положений, высказанных в связи с этой темой, не ведёт к результату. Если есть хорошие практические советы - как говорится, в студию. Многие, и я в их числе, не являются программистами, не используют ничего, кроме детища Б. Гейтса. На форум мы обращаемся за помощью.

[mansyr]

Привет feya.
На форуме про генштаб не могу найти. Хотел написать, что у меня есть карта генштабовская 500м. Северного Кавказа, как мне его Вам прислать, у Вас в проге его нету. Мне нужно было его смотреть в САС.Планете.
Извиняюсь, что не по теме.