Копирование одного диска на несколько, как ускорить?

Question

[dimone73]

Копирую жесткие диски. Не RAID. Обычно пользуюсь командой dd (да, возможно это не самый оптимальный способ). Как бы ускорить это дело? Хотелось бы с одного сразу например на 3 диска. Представляю, что наверное как-то можно распараллелить запись. Сначала dd if=/dev/sda а потом как-то же возможно (ну не по конвейеру) на несколько of=/dev/....
Может кто делал подобное?
Встречались примитивные примеры через 'Process Substitution' и tee для перенаправления из cat file одновременно в grep foo и sed 's/bar/baz/' команда:
cat file | tee >(grep foo) >(xz -z > file.xz) | sed 's/bar/baz/'
Может как-то подобным образом и с dd поступить.

Comments

[vaut]

Для начала у dd нужно увеличить размер блока хотя бы так bs=5M

[dimone73]

vaut, да я даже до 64M для тех дисков ставлю - по теории и практически испытано, что размер блока должен быть равен размеру буфера диска, тогда процесс максимально быстро идет.

Answer 1

[Melkij]

попробуйте для начала dd if=/dev/sda | tee /dev/sdb /dev/sdc /dev/sdd > /dev/sdc
сходу проверить негде, но не вижу причин почему бы это не работало.

можно так

dd if=/dev/sda | tee >(dd of=/dev/sdb) >(dd of=/dev/sdc) >(dd of=/dev/sdd) > /dev/null

чтобы был доступ к привычным опциям dd

Comments

[dimone73]

Да, попробывал на виртуальной машине - работает, распараллеливает.

[fpir]

подозреваю - "распоследует" . Думаю, запись идёт по очереди, сперва на 1 диск запишет, потом на второй и тд

[dimone73]

Да все быстрее. Мне посадить не сильно грамотного компьюторщика: дал команду и жди пару часов. Главное команд поменьше и чтобы возможность человеческой ошибки меньше. Но и ждать неделю не хочется - класс нужен всегда. А так за пару дней можно управиться пожалуй.

[dimone73]

Короче точно замер его на реальной машине: что один гиг на диск, что по гигу сразу на 4 диска = одинаковое время, час сорок.

Answer 2

[Алексей Черемисин]

Лучшее решение, к которому мы пришли - размечать диски parted, форматировать нужные разделы, заливать tar.gz-архив, ставить загрузчик EFI. Ускорение в 10-20 раз.
Еще, как вариант - ужать файловую систему до размера данных и делать resizefs на весь раздел.
Рещается простым скриптом со всеми нужными командами.
Копируем за раз по 10-12 дисков.
Кстати, через resizefs обычно делаются флешки для всяких rasberry/orange

Comments

[Valeriu Cuțebov]

Предложенное решение звучит разумно и может быть более эффективным, чем использование dd или cat для копирования данных с одного диска на несколько других. Разделение диска с помощью parted и форматирование нужных разделов позволяет более гибко управлять пространством на диске и избежать копирования ненужных данных.

Затем заливание архива tar.gz на отдельные разделы дисков может ускорить процесс копирования данных, поскольку вместо копирования каждого файла отдельно данные передаются как единый архив.

Наконец, установка загрузчика EFI позволяет создать загрузочный раздел на каждом диске, что может быть полезно для определения правильного загрузочного диска при установке операционной системы или при загрузке системы с внешнего диска.

Таким образом, использование скрипта с командами parted, tar.gz, и установки загрузчика EFI может быть более эффективным и быстрым способом копирования данных на несколько дисков.

Спасибо за Лучшее решение!

[Алексей Черемисин]

Valeriu Cuțebov, Пробуйте.

[dimone73]

Ай, одна загвоздка - на диске защищённое ПО с системами безопасности, с которыми глубоко не знакомы. И неизвестен пароль загрузчика. Да, и систем - две, каждая на своём разделе. И загрузчик ни разу не EFI.

[Алексей Черемисин]

dimone73, Если у Вас диск в руках, то какие пароли могут быть?!
Не нравится EFI, ставьте grub скриптом, или что там у вас в загрузчике.
Да и систем можно записать сколько нужно - создаете сколько нужно разделов и пишете.
У нас примерно тоже самое, grub с паролем из EFI (но это неважно, было и просто grub). две системы, одна для резерва, если первая не загрузилась, регулируется через переменные grub.

[dimone73]

Алексей Черемисин, Есть еще и АМДПЗ, но это полбеды. Программное обеспечение на диске защищено, на GRUB пароль на загрузку, и снести пароль ни на систему, ни на загрузчик вообще невозможно - надеюсь это понятно? Это защищенная Астра. Мы подвинули раздел и записали второй раздел, с которого можно грузиться.
Копировали диски dd - скорость что для 1, что для 4 копий одинаковая.

Answer 3

[mayton2019]

Успех мероприятия зависит от пропускной способности канала. Например если все 4 участника этой гонки - магнитные диски и включены в SATA3 порты - то копирование будет в первую очередь ограничиаться шлейфом SATA3 (до 6Gbit) и даже если 3 других в сумме дают более быстрый трафик то мы будем исходить их скорости самого медленного верблюда в караване.

Иногда помогает легкое поджатие информации. В BigData например используют кодеки snappy/LZ0.
Хотя я никогда не видел snappy реализованного в виде консольной утилиты.

Comments

[Melkij]

покажите мне HDD, который способен упереться в полосу не то что SATA III, а хотя бы SATA II.

но да, общий процесс записи будет болтаться на уровне возможностей самого медленного из дисков. Но по времени это всё равно существенно быстрее, чем копировать каждый диск в отдельности. Время X записи самого медленного диска никуда не денется, как его не переставляй.

[mayton2019]

Melkij, это теория. Да. Чисто для начала обсуждения. Я к тому что dd - это просто бенчмарк. И для бенчмарка нам уже надо обсуждать конфигурацию. Потому что конфигурация в нашем случае важнее чем софт.

[dimone73]

Диски одинаковые, получалось копировать 150mB/c, терабайт что-то порядка 4100 секунд. Диск забит наполовину, можно и сжать.....НО. Хотелось бы доверить операцию невысоко неквалифицированному админу, чтобы не сильно думал: строка команд и иди кури на полтора часа. Потом еще три диска. За день пожалуй 15 дисков и перепишем.

[Melkij]

dd - это абсолютно точно не бенчмарк.

[mayton2019]

Melkij, нельзя использовать для бенчмарка?

[Melkij]

нет. Если вам нужен бенчмарк - возьмите что-нибудь подходящее для бенчмарка, fio тот же

[mayton2019]

Melkij, хорошо. Но вы согласны с тезисом что здесь мы достигли софтварного предела и дальше мы можем обсуждать только топологию подключения дисков?

[Melkij]

какие софтварные пределы, вы о чём? Простейшая полностью логичная идея оптимизации задачи: прочесть блок с одного диска и отправить на запись из памяти на несколько дисков параллельно вместо многократного чтения диска-источника.

а топологию подключения дисков можно обсуждать, когда вопрос будет про поиск источника замедления при одновременной записи нескольких десятков HDD. Я так понял, даже упомянутые выше 15 дисков не планируется подключить одновременно, куда там упираться?

Answer 4

[Valeriu Cuțebov]

Если вы хотите скопировать один диск на несколько дисков, то вместо команды dd можно использовать cat. Например, чтобы скопировать содержимое /dev/sda на /dev/sdb, /dev/sdc и /dev/sdd, вы можете использовать следующую команду:

cat /dev/sda | tee /dev/sdb /dev/sdc /dev/sdd > /dev/null

Эта команда использует tee для записи содержимого /dev/sda на все три диска одновременно. Затем tee перенаправляет оригинальный вывод cat на /dev/null, чтобы избежать дополнительной записи.