Как максимально быстро скопировать несколько миллионов файлов в Linux?

Question

[MountyPiton]

Есть машина под управлением Linux RHEL 5,6. Ей отдано блочное устройство с объемом 30ТБ. На этом устройстве создана файловая система xfs. На ней размещено несколько десятков миллонов мелких файлов. Они разбиты по папкам. Есть задача скопировать на другое блочное устройство размером 10ТБ несколько этих папок. Несколько миллионов объектов. Файловая система на новом блочном устройстве так же xfs. Как это сделать быстрее всего?

Comments

[theurs]

Типа можно ли копировать в несколько потоков?

[MountyPiton]

theurs: ну скажем так: что быстрее всего копирует и что из этого можно запустить в как можно больше потоков.

Answer 1

[Виктор Таран]

zip -r -0
без сжатия, тем самым вы избавляетесь от гигантского i-O
или же как вариант
Отформатировать внимание "файл" под ext2 и подмонтировать его как устройство.
После этого размещять свои файлы там. В таком случае с I-O проблем не будет и копировать можно будет сам образ.
3. вариант csync2 clusterfs и тд
4. rsync
и так далее

Comments

[Erelecano Oioraen]

zip и быстро?
tar и не тащите свои виндовые привычки в приличные места

[Виктор Таран]

зип -0 это собственно то-же самое что и tar ибо это упаковка 0
ну и да это чтоб вам было легче работать с виндой, я рекомендованным вам зверем не пользуюсь и не имею его даже не ВМ.

Answer 2

[Gintoki]

Оптимальнее всего будет так, полагаю:
tar cf - *путь к каталогу с миллионом файлом* | ssh user@server "tar xf - -C *путь распаковки*"