Как перенести большое количество маленьких файлов?

Question

[Иван]

Приветствую!

Ситуация:
Есть папка с большим количеством (более 400 тыс) маленьких файлов.
Максимальный размер файла в папке - около 3 мб, в среднем же "по больнице" - около 100-200 кб на файл.

Два вопроса:
1) Как максимально безболезненно перенести эту папку на внешний hdd?

Стандартные средства системы (Mac OS) захлебываются.
Подсказали такую штуку, как pipe. Нагуглил+составил команду, которая, вроде, должна сделать то, что требуется:

tar cf - "/Volume1/Folder/TargetFolder" | (cd "/Volume2/Folder/" && tar xf -)

(проверьте еще пжлст:)

Но она не показывает на каком этапе какой процесс (их тут 3, вроде как) находится.
Хочу внедрить pv, но не получается. Нужна помощь :)

2) Как разбить папку в 400тыс файлов на несколько папок по 10тыс файлов?

В общем, нужна помощь :)

Comments

[Алексей Черемисин]

А что значит захлебываются, это про Finder?

[Иван]

Алексей Черемисин: Так точно. Finder подвисает намертво, а спустя 3-4 часа вешает всю систему. При этом, операции с папкой через Терминал выполняются

Answer 1

[Алексей Черемисин]

Так, если в терминале этот каталог можно посмотреть по ls и он не вывалится с ошибкой, то все еще поправимо.
Ну и для такое операции tar использовать не нужно.
Достаточно просто

cp -va  /Volume1/Folder/TargetFolder/ /Volume2/Folder

да и tar в вашем случае можно сделать проще (все символы-и . имеют значение!!!)

tar -С "/Volume1/Folder/TargetFolder" cf - . | tar -C "/Volume2/Folder" xf -

Ну а разбить на группу файлов можно так
Сначала берем список всех файлов командой

cd /Volume2/Folder
find . > myfiles.txt
split -l 100000 myfiles.txt myfiles.

Получим несколько файлов myfiles.aa myfiles.ab и так далее, по 100000 строк.
далее к каждому файл применяем копирование

cat myfiles.aa | xargs -n 1 -J % mv % /Volume2/Folder1

Проверено на OSX :-)

Comments

[Иван]

Спасибо, попробую!

Правильно понимаю, что первая команда запустить простое копирование, вторая - копирование всех файлов единым массивом, без архивирования?

Вопрос вдогонку: а можно ли как-то отслеживать прогресс операций tar? Подсказали, что есть пакет pv (pipe viewer), но я запутался с параметрами там...

[Алексей Черемисин]

Правильно! cp - просто копирование
A tar - потоковый (ленточный Tape ARchive) "архиватор", он как бы сначала создает потоковый контейнер из файлов, на другой стороне другой tar принимает этот контейнер, извлекает из него имя файла и атрибутами, затем потоково принимает содержимое файла, и так далее. Другими словами, это удаление гланд, автогеном, через жопу, оправдано только в случае передачи по сети и на ленты (но это отдельный разговор)!

Да, можно, но я вот так на раз команду не состряпаю -( Там перенаправление потоков и утилитка tee будет участвовать. К автогену еще и серп будет :-)

[Алексей Черемисин]

tar -C "/Volume1/Folder/TargetFolder" cvf - . 2> >(tee file.log >&2) | tar -C "/Volume2/Folder" xf -

а во второй консоли
tail -f file.log
Но, блин, #$%^! Как-то так, не проверял...