Решение проблемы перемещения кэша

[Parasite]

Предлагаю свой способ хранения\перемещения многих сотен тысяч\миллионов тайлов с компьютера на компьютер. Способ постоянно юзается лично (на никсах).

Итак: пользователи UNIX сразу переходят ко второму пункту. Пользователи Винды как всегда сосу... читают дальше:

1. Для WINDOWS 9х\XP (виста и прочие софтоубожества - не проверял, хватило и захода в папку с кэшем с автоматом выбранным системой по дефолту режимом "THUMBNAILS"...):

а) качаем прилагаемый архив
б) распаковываем все файлы куда-нибудь в пределах PATH-каталогов (например в C:\Windows\)
в) установка закончена
г) для использования - заходим в консоль (FAR\TC тоже подойдут)
д) идем к папке которую нужно перенести (например идем в C:\CACHE\ если надо перенести папку C:\CACHE\SAT)
е) даем команду в консоли "tarz <папка_для_переноса> <имя_контейнера.tgz>" (в случае выше это будет "tarz SAT sat.tgz") без кавычек
ж) идет довольно быстрое создание TAR-контейнера с GZIP-сжатием там, где Вы указали его делать.

2. Для *NIX-систем (Linux, UNIX, Solaris и иже с ними):

а) ничего качать не надо - TAR как правило является частью системы.
б) для использования - заходим в консоль (MC тоже подойдет)
в) идем к папке которую нужно перенести (например идем в /mnt/CACHE/ если надо перенести папку /mnt/CACHE/SAT)
г) даем команду в консоли "tar -cvz --file=<имя_контейнера.tgz> <папка_для_переноса>" (в случае из примера выше это будет "tar -cvz --file=sat.tgz SAT") без кавычек
д) идет довольно быстрое создание TAR-контейнера с GZIP-сжатием там, где Вы указали его делать.

В результате получаем готовый tgz-контейнер со своим кэшем, кой и переносим куда угодно и который прекрасно распаковывается либо ВинРАРом в винде (при количестве файлов не выше неск.миллионов, иначе РАРу снесет крышу при попытке открытия столь большого контейнера), либо самим TARом, либо чем угодно еще совместимым с TAR (это практически все современные и не очень архиваторы). Контейнер можно в дальнейшем порезать тем же винраром на куски для выкладывания на файлообменники в разделе ОБМЕН КЭШЕМ. Более продвинутые юзеры могут поиграться с параметрами (в виндовс-версии для изменения всех параметров надо отрыть файл tarz.bat, либо вызывать BSDTAR.exe самостоятельно) - TAR имеет кучу настраиваемых параметров и очень гибок, например може автоматом резать контейнер на части, может создавать RAW-контейнер без сжатия итд итп, может быть подмонтирован в систему как вирт.диск итд.итп. - читайте хелп на стандартный никсовый TAR.
Примечание: папка внутри контейнера будет начинаться со введенной Вами папки <папка_для_переноса> (например при команде "tarz SAT c:\sat.tgz" внутри контейнера будет папка SAT и все что в ней, при команде "tarz C:\cache\SAT c:\sat.tgz" внутри контейнера будет папка "c:", далее "cache", далее "SAT" и все что в ней, итд.)

Достоинства:

1. Очень быстрое создание ОГРОМНЫХ контейнеров (петабайты размером, сотни миллиардов включаемых файлов). Скорость создания сравнима со скоростью прямого чтения\записи голых данных (намного быстрее ВинРАРа например)/ Философия никсов - «делать только одну вещь» (работать с архивами), «но делать её хорошо».
2. Контейнер не занимает лишнего места - содержит ТОЛЬКО упакованные данные и ничего лишнего. Десяток упакованных тайлов займут вменяемый размер, а не размер созданного контейнера (как в TrueCrypt)
3. Нет нужды в долгой подготовке \форматировании контейнера как в TrueCrypt.
4. Нет нужды в хранении данных ФС как в TrueCrypt - на множестве мелких файлов это весьма ощутимый обьем данных
5. Нет нужды в ненужном, но обязательном и неотключаемом шифровании данных (как в TrueCrypt)
6. Контейнер стандартного формата, полностью открытый и платформонезависимый - откроется даже на КПК
7. Рекурсивный обход добавляемых данных - создание контейнера начинается с первой же секунды работы программы, нет нужды в предварительном построении дерева файлов и прочей чуши. То же самое и при распаковке.
8. Полная бесплатность и открытость исходников, полная кроссплатформенность алгоритма и контейнера
9. Легендарная отлаженная временем и суровыми юзерами юниксовая надежность, скорость и нетребовательность к ресурсам.
итд итп, могу продолжить. Подробнее - тут: http://ru.wikipedia.org/wiki/Tar

Основное отличие от обычного архиватора - очень быстрая работа, кроссплатформенность и ненужность построения списка файлов перед упаковкой\при распаковке. ВинРАР например падает при построении списка файлов в архиве более неск.миллионов, и посему полностью неприменим для сабжа.

Минусы:

лично мне не видны.

Обсуждение приветствуется.

[Parasite]

PS: только что для теста утоптал виндовой версией 17 миллионов тайлов за 2.5 часа (получился 42Гб контейнер). Ни единого нарекания, ни единого лишнего вопроса, запрос к памяти не выше 1Мб - точно так, как оно и должно быть в идеале.

[Parasite]

Вот стандартные ключи от юниксовского TAR'а - авось кому понадобится. Что из этого реализовано в виндовой версии - я не знаю, пробуйте сами:

Код: Выделить всё

Usage: tar [OPTION...] [FILE]...
GNU `tar' saves many files together into a single tape or disk archive, and can
restore individual files from the archive.

Examples:
  tar -cf archive.tar foo bar  # Create archive.tar from files foo and bar.
  tar -tvf archive.tar         # List all files in archive.tar verbosely.
  tar -xf archive.tar          # Extract all files from archive.tar.

Main operation mode:

  -A, --catenate, --concatenate   append tar files to an archive
  -c, --create               create a new archive
  -d, --diff, --compare      find differences between archive and file system
      --delete               delete from the archive (not on mag tapes!)
  -r, --append               append files to the end of an archive
  -t, --list                 list the contents of an archive
  -u, --update               only append files newer than copy in archive
  -x, --extract, --get       extract files from an archive

Operation modifiers:

  -g, --listed-incremental=FILE   handle new GNU-format incremental backup
  -G, --incremental          handle old GNU-format incremental backup
      --ignore-failed-read   do not exit with nonzero on unreadable files
  -k, --keep-old-files       don't replace existing files when extracting
      --keep-newer-files     don't replace existing files that are newer than
                             their archive copies
      --no-overwrite-dir     preserve metadata of existing directories
  -n, --seek                 Archive is seekable
      --occurrence[=NUMBER]  process only the NUMth occurrence of each file in
                             the archive. This option is valid only in
                             conjunction with one of the subcommands --delete,
                             --diff, --extract or --list and when a list of
                             files is given either on the command line or via
                             -T option. NUMBER defaults to 1.
      --overwrite            overwrite existing files when extracting
  -O, --to-stdout            extract files to standard output
      --recursive-unlink     empty hierarchies prior to extracting directory
      --remove-files         remove files after adding them to the archive
  -S, --sparse               handle sparse files efficiently
  -U, --unlink-first         remove each file prior to extracting over it
  -W, --verify               attempt to verify the archive after writing it

Handling of file attributes:

      --atime-preserve       don't change access times on dumped files
      --group=NAME           force NAME as group for added files
      --mode=CHANGES         force (symbolic) mode CHANGES for added files
  -m, --touch                don't extract file modified time
      --no-same-owner        extract files as yourself
      --no-same-permissions  do not extract permissions information
      --numeric-owner        always use numbers for user/group names
      --owner=NAME           force NAME as owner for added files
  -p, --preserve-permissions, --same-permissions
                             extract permissions information
      --preserve             same as both -p and -s
      --same-owner           try extracting files with the same ownership
  -s, --preserve-order, --same-order
                             sort names to extract to match archive

Device selection and switching:

  -f, --file=ARCHIVE         use archive file or device ARCHIVE
      --force-local          archive file is local even if has a colon
  -F, --info-script=NAME, --new-volume-script=NAME
                             run script at end of each tape (implies -M)
  -L, --tape-length=NUMBER   change tape after writing NUMBER x 1024 bytes
  -M, --multi-volume         create/list/extract multi-volume archive
      --rmt-command=COMMAND  use given rmt COMMAND instead of rmt
      --rsh-command=COMMAND  use remote COMMAND instead of rsh
      --volno-file=FILE      use/update the volume number in FILE

Device blocking:

  -b, --blocking-factor=BLOCKS   BLOCKS x 512 bytes per record
  -B, --read-full-records    reblock as we read (for 4.2BSD pipes)
  -i, --ignore-zeros         ignore zeroed blocks in archive (means EOF)
      --record-size=NUMBER   SIZE bytes per record, multiple of 512

Archive format selection:

  -H, --format=FORMAT        create archive of the given format.

FORMAT is one of the following:

    gnu                      GNU tar 1.13.x format
    oldgnu                   GNU format as per tar <= 1.12
    pax                      POSIX 1003.1-2001 (pax) format
    posix                    Same as pax
    ustar                    POSIX 1003.1-1988 (ustar) format
    v7                       old V7 tar format

  -j, --bzip2                filter the archive through bzip2
      --old-archive, --portability
                             same as --format=v7
      --pax-option=keyword[[:]=value][,keyword[[:]=value], ...]
                             control pax keywords
      --posix                same as --format=posix
      --use-compress-program=PROG
                             filter through PROG (must accept -d)
  -V, --label=TEXT           create archive with volume name NAME. At
                             list/extract time, use TEXT as a globbing pattern
  -z, --gzip, --gunzip, --ungzip   filter the archive through gzip
  -Z, --compress, --uncompress   filter the archive through compress

Local file selection:

      --after-date=DATE      same as -N
      --anchored             exclude patterns match file name start
      --backup[=CONTROL]     backup before removal, choose version CONTROL
  -C, --directory=DIR        change to directory DIR
      --exclude=PATTERN      exclude files, given as a PATTERN
      --exclude-caches       exclude directories containing a cache tag
  -h, --dereference          dump instead the files symlinks point to
      --ignore-case          exclusion ignores case
  -K, --starting-file=MEMBER-NAME
                             begin at member MEMBER-NAME in the archive
      --newer-mtime=DATE     compare date and time when data changed only
      --no-anchored          exclude patterns match after any / (default)
      --no-ignore-case       exclusion is case sensitive (default)
      --no-recursion         avoid descending automatically in directories
      --no-wildcards         exclude patterns are plain strings
      --no-wildcards-match-slash   exclude pattern wildcards do not match '/'
      --null                 -T reads null-terminated names, disable -C
  -N, --newer=DATE-OR-FILE   only store files newer than DATE-OR-FILE
      --one-file-system      stay in local file system when creating archive
  -P, --absolute-names       don't strip leading `/'s from file names
      --recursion            recurse into directories (default)
      --strip-components=NUMBER   strip NUMBER leading components from file
                             names
      --suffix=STRING        backup before removal, override usual suffix ('~'
                             unless overridden by environment variable
                             SIMPLE_BACKUP_SUFFIX
  -T, --files-from=FILE-OF-NAMES   get names to extract or create from file
                             NAME
      --wildcards            exclude patterns use wildcards (default)
      --wildcards-match-slash   exclude pattern wildcards match '/' (default)
  -X, --exclude-from=FILE    exclude patterns listed in FILE

Informative output:

      --checkpoint           display progress messages every 10th record
  -v, --verbose              verbosely list files processed

      --check-links          print a message if not all links are dumped
      --index-file=FILE      send verbose output to FILE
  -R, --block-number         show block number within archive with each
                             message
      --show-defaults        Show tar defaults
      --show-omitted-dirs    When listing or extracting, list each directory
                             that does not match search criteria
      --totals               print total bytes written while creating archive
      --utc                  print file modification dates in UTC
  -w, --interactive, --confirmation
                             ask for confirmation for every action

Compatibility options:

  -o                         when creating, same as --old-archive. When
                             extracting, same as --no-same-owner

Other options:

  -?, --help                 Give this help list
      --license              Print license and exit
      --usage                Give a short usage message
      --version              Print program version

Mandatory or optional arguments to long options are also mandatory or optional
for any corresponding short options.

The backup suffix is `~', unless set with --suffix or SIMPLE_BACKUP_SUFFIX.
The version control may be set with --backup or VERSION_CONTROL, values are:

  t, numbered     make numbered backups
  nil, existing   numbered if numbered backups exist, simple otherwise
  never, simple   always make simple backups

*This* tar defaults to:
--format=gnu -f- -b20 --rmt-command=/usr/libexec/rmt --rsh-command=/usr/bin/rsh

Report bugs to <[email protected]>.


[Koss]

если у вас все средства есть и архив и архиватор, попробуйте сделать гз файл как виртуальный диск и запустить с него сас.. если всё работает - это супер!

[xyz]

интересно сравнить с упаковкой без сжатия архиватором 7z (и консольной версией его).
достоинства - практически те-же, а вдруг скорость будет выше?

[Parasite]

попробуйте сделать гз файл как виртуальный диск и запустить с него сас..

Попробуйте перечитать название темы - она звучит как "Решение проблемы перемещения кэша". Причем тут запуск?
Впрочем, средства позволяющие подмонтировать tar как часть ФС - существуют (например через vfs в никсах). Но лично мне они не нужны - при желании тар легко разворачивается в исходные файлы простой командой tar -xvf <имя_контейнера.tgz>, и это происходит весьма быстро и безо всяких монтирований. Под винду тоже должны существовать монтирующие утилиты. Наверное.

интересно сравнить с упаковкой без сжатия архиватором 7z

Сравните. Я этого сделать не могу - под мою систему банально нет нативного 7z (как нет его под кучу и других систем, ибо попса), а собирать самому - зачем, если tar является частью системы и вылизан десятилетиями существования и миллионами юзеров и проверен в различных условиях, полностью приближеных к боевым?

Я не знаю, как поведет себя 7z на больших (действительно БОЛЬШИХ) контейнерах, от пары десятков миллионов тайлов и выше. Если он не обладает фичей упаковки\распаковки БЕЗ предварительного создания списка файлов - то его можно смело посылать ффтопку (а мне неизвестны виндявые упаковщики с этой фичей). В свое время мне так и не удалось найти под винду ни одного нативного упаковщика, умеюшего действительно БОЛЬШИЕ контейнеры за вменяемое время\ресурсы (кроме как виндявых портов с серьезных систем по типу выложенного в шапке). Даже хваленый консольный РАР не справлялся - валя по переполнению как себя, так и эксплорер, так и винду в синий экран, если повезет.
Попробуйте на 7z, отпишите сюда. Вдруг чудо таки случилось - а мужики-то и не знают?

[feya]

7z вроде строит список перед сжатием.

[Parasite]

7z вроде строит список перед сжатием.

Ага. Что и предполагалось. Что мы получаем при попытке открытия архива миллионами с 50ю тайлов? Мы получаем висняк на полдня как минимум, и это в лучшем случае. А за это же время тар уже давно развернет этот самый архив, радостно скажет "Готово, хозяин!!" и отвалится, да.

Чуда с 7z не произошло. Увы....

[Koss]

Супер - 10 ГБ кэша за 3 минуты! Спасибо за наводку! а вот интересно если смонтировать архив как диск, будет быстрее?

пс на виндовс 7 rc почему-то запуск из path папок не работает,. не знаю почему..

[Parasite]

Супер - 10 ГБ кэша за 3 минуты! Спасибо за наводку!

пс на виндовс 7 rc почему-то запуск из path папок не работает,. не знаю почему..

Патамушта это винда, а не ось.
Попробуйте запускать как Администратор, либо сделайте для тара свою папку (отдельно от винды) и внесите ее в path.