SASGIS

Веб-картография и навигация

Решение проблемы перемещения кэша

Обсуждение различной информации связанной с картографией в САСе, а также сторонние программные продукты для связки с САСом

Модератор: Tolik

Re: Решение проблемы перемещения кэша

Сообщение Parasite » 02 ноя 2009, 08:06

Fetser писал(а):поэтому если есть Total Commander ничего дополнительного скачивать не надо и никаких консолей

Минусы:
- Наличие дополнительной программы TC (коммерческой, закрытой, требующей кряка, занимающей место, привносящей глюков итд)
- Нативно способ заработает только на винде
- Невозможность тонкой настройки процесса утаптывания (коммандлайновые ключи вводить нубу не совсем ясно - куда и как)

Плюсы:
сомнительные (некоторый малозначащий уход от чистой консоли - в оконный менеджер, что есть "оболочка" над консолью)
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: Решение проблемы перемещения кэша

Сообщение zed » 02 ноя 2009, 09:58

Fetser писал(а):а если Total Commander (у него вшит TAR) без дополнительных настроек то 4 сек и без сжатияа при выборе TGZ получаем те же параметры что и у Parasiteпоэтому если есть Total Commander ничего дополнительного скачивать не надо и никаких консолей

Не, тотал не катит - он таки вначале строит дерево каталогов, а потом только начинается собственно процесс архивирования, даже если архиватор TAR. Построение дерева отнимает много времени, да и оперативы может не хватить. В общем, имеем всё те же минусы, что и с обычными архиваторами, поэтому юзаем консоль.

P.S. Для экспериментов маленькие архивы не подходят, вы возьмите папочку в 10Гиг и на ней тренируйтесь - тормоза и недостатки вылезут быстро:)
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Re: Решение проблемы перемещения кэша

Сообщение Fetser » 02 ноя 2009, 12:11

zed писал(а):Не, тотал не катит

Убедили
У меня оказывается был не совсем чистый эксперимент. И дело даже не в маленьком архиве. А в том что я по очереди архивировал разными архиваторами и список файлов тотал составил только первый раз, а все дальнейшие архивирования он делал по готовому списку. Поэтому время создания списка я посчитал временем только первого архиватора. А TAR был не первый
Fetser
Соображающий
 
Сообщения: 99
Зарегистрирован: 24 окт 2009, 23:40
Благодарил (а): 5 раз.
Поблагодарили: 14 раз.

Re: Решение проблемы перемещения кэша

Сообщение Fetser » 03 ноя 2009, 23:35

RichCopy is designed to help people who copy huge number of files between storage devices directly or indirectly over the network by accelerating copy performance and shorten the time people has to spend for file copy operation. This acceleration has been realized by improving network and storage device utilization with technology used for server services.
http://download.microsoft.com/download/ ... 009_04.exe

Что по-нашему, мол, специальная бесплатная программа для быстрого копирования большого количества файлов. Работает как на локальном компьютере, так и по сети. Копирует файлы в несколько потоков (количество сами выбираете в настройках) Я попробовал действительно очень шустрая. Поддерживает все версии Windows

PS пингвины как всегда сосу...(зачеркнуто)
Fetser
Соображающий
 
Сообщения: 99
Зарегистрирован: 24 окт 2009, 23:40
Благодарил (а): 5 раз.
Поблагодарили: 14 раз.

Re: Решение проблемы перемещения кэша

Сообщение ncux » 04 ноя 2009, 05:54

это тоже не катит. делает индексацию списка...
проще из консоли уж :)
ncux
Новичок
 
Сообщения: 20
Зарегистрирован: 23 июл 2009, 09:02
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Решение проблемы перемещения кэша

Сообщение Fetser » 04 ноя 2009, 10:55

ncux писал(а):делает индексацию списка


/+I Set a file is not to be indexed by content indexing service
Fetser
Соображающий
 
Сообщения: 99
Зарегистрирован: 24 окт 2009, 23:40
Благодарил (а): 5 раз.
Поблагодарили: 14 раз.

Re: Решение проблемы перемещения кэша

Сообщение Parasite » 06 ноя 2009, 23:41

Fetser писал(а):
ncux писал(а):делает индексацию списка

/+I Set a file is not to be indexed by content indexing service

1. Контент индексинг сервис - это вовсе не то же самое, что создание списка файлов перед выполнением задачи. Контент индексинг сервис помогает искать по содержимому в копируемом контенте (отсюда необходимость собственно просмотра и анализа оного контента для покладания в индекс, что довольно замедляет работу на миллионах файлов и для сабжа соверщенно не нужно - благо файлы бинарные).
2. Основная задача сабжа - это как можно более быстро избавиться от миллионов копируемых файлов (с оными же миллионами обращений в ФС как на стороне-источнике, так и на стороне-приемнике), кои и вызывают 99% тормозов при копировании. Предложенная Вами программа этого не делает - после нее все так же остаются те же миллионы файлов через собственно процесс копирования оных, и весь выигрыш от прожки - это некоторая мультипотоковость (в любом случае ограниченная скоростью позиционирования винта)+возможность сохранения\восстановления задачи, засим всё.

Резюме: если обьем кэша небольшой - то может прожка кому и поможет.

Кому надо портабельный вариант безо всяких идиотских микрософтовских инсталлов\сетапов\msi - забираем: http://depositfiles.com/files/2cbfq6dfo
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: Решение проблемы перемещения кэша

Сообщение Fetser » 09 ноя 2009, 14:03

Parasite писал(а):Кому надо портабельный вариант


Поясни, а в чём суть этого портативного варианта.
Я поступил проще вытащил из инсталлятора два файла
RichCopy.chm 796 449
RichCopy.exe 2 387 968
И просто положил в папку. Работает на ура когда запускаешь RichCopy.exe Хоть с диска хоть с флешки. Если файл помощи не нужен то вообще достаточно иметь только RichCopy.exe размером чуть более 2 Мб.
Я программой закачивал кеш на сервер который находится далеко от меня (лень ехать) со скоростью 200 Мбайт /мин. Ни какой паузы (построение списка файлов или чего там ещё) в начале копирования не было.
А как можно удалённо распаковать архив я, честно говоря, просто не знаю.
Fetser
Соображающий
 
Сообщения: 99
Зарегистрирован: 24 окт 2009, 23:40
Благодарил (а): 5 раз.
Поблагодарили: 14 раз.

Re: Решение проблемы перемещения кэша

Сообщение Parasite » 10 ноя 2009, 12:37

Fetser писал(а):
Parasite писал(а):Кому надо портабельный вариант

Поясни, а в чём суть этого портативного варианта.

В том, что сейчас он стал доступен как опция. Кому надо - те берут.

Fetser писал(а):Я поступил проще вытащил из инсталлятора два файла

Я тоже. Но у меня нет времени тут расписывать, как простому смертному юзеру распаковывать инсталляторы и доставать отдельные файлы - да и оффтоп. Мне гораздо проще дать ссылку на уже готовое.

Fetser писал(а):достаточно иметь только RichCopy.exe размером чуть более 2 Мб.

Лично мне для сабжа достаточно иметь ТАR на 180Кб. :)

Fetser писал(а):Ни какой паузы (построение списка файлов или чего там ещё) в начале копирования не было.

А я и не говорил, что она есть. Я говорил, что не нужно путать смысл двух по существу разных процессов.

Что же касается именно программы - попробуй скопировать достаточно большой кэш (скажем, от 20млн тайлов) ею на флешку, и сделать то же самое ТАРом. Привожу свою статистику: тар - 7 минут, прога - прошло 4 часа, скопировано 6%.
Как я уже сказал, прога НЕ ИСКЛЮЧАЕТ множественные обращения в FileAllocationTable на стороне-приемнике (на флешке в данном случае, не отличающейся быстродействием и так), тогда как тар делает ОДИН файл (грубо говоря, одна запись в фат при создании контейнера, вместо десятков миллионов).

PS: да, кстати - винда (и именно винда, всех версий вплоть до 2008serv включительно) весьма любит падать ФАТом при массированной записи мелких файлов на диск, после чего диск становится нечитаемым (в винде), показывает файловую систему RAW и занято\свободно 0 байт. Довольно нудно и не без потерь лечится после этого.
Сабж гораздо более возможен на NTFS-дисках, где мелкие файлы хранятся именно внутри MFT, а не в пользовательской зоне. Будьте осторожны при массированной распаковке больших куч тайлового кэша.
На никсах такого никогда не встречал (при гораздо более плотной работе с гораздо более обьемными кэшами).
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: Решение проблемы перемещения кэша

Сообщение Fetser » 10 ноя 2009, 13:54

Всё очень доходчиво спасибо. Но я так и не понял. если я упакую TAR затем закачаю по сети на удалённый сервер. По сети возможно распаковать? или при распаковке файлы опять начнут пересылаться в мой компьютер и обратно на сервер.
Fetser
Соображающий
 
Сообщения: 99
Зарегистрирован: 24 окт 2009, 23:40
Благодарил (а): 5 раз.
Поблагодарили: 14 раз.

Пред.След.

Вернуться в Другие программы

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 5