@andreyvlru
менеджер-программист

Как быстро скопировать 40 млн файлов на другой сервер?

Есть сервер с картинками
на нем 40 млн файлов, есть маленькие по 5-10 кб, есть побольше 50-100
Обычное копирование этого добра с одного сервера на другой через rsync идет очень медленно (несколько дней, а то и недель)

Есть ли какие-то варианты делать это не по файлам, а может сразу весь образ диска переписать
или копировать по секторам. Хотелось бы уметь это делать за несколько часов.
  • Вопрос задан
  • 8174 просмотра
Решения вопроса 1
gbg
@gbg
Баянист. Тамада. Услуги.
Как-то так:
dd if=/dev/sda bs=65536 | ssh target-ip 'dd of=/dev/sda bs=65536'.

На агрегированном канале 2x1Gbit выдает 100 мегабайт в секунду. Если подшаманить размеры блока bs= и mtu, и еще шифрование у ssh выключить, можно, я думаю, и все 200 мегабайт выжать.

Проводить, на отмонтированном! (или смонтированном в readOnly) диске!
Не зря dd расшифровывается как DestroyData.
Варианты настройки шифрования (-c) и скорость (лучше - больше):
ssh-cipher-speed-chart.png?w=630
Ответ написан
Пригласить эксперта
Ответы на вопрос 6
click0
@click0
Системный & сетевой архитектор
Я переносил через zfs send | zfs recv via ssh. Скорость была ограничена только скоростью чтения/записи HDD.
Ответ написан
jcmvbkbc
@jcmvbkbc
http://dilbert.com/strip/1998-08-24
tar -cC source-dir . | ssh target-ip "tar -xC target-dir"
Ответ написан
@inkvizitor68sl
Linux-сисадмин с 8 летним стажем.
rsync по каталогам через GNU parallel.
Ответ написан
vato35
@vato35
ИТ-специалист, занимаюсь инвестиционными проектами
Основная проблема - как размещены файлы по дереву каталогов. Часто затык связан с построением списка файлов, а не с его обработкой.
Ответ написан
@pfg21
ex-турист
если межсерверная сеть полностью контролируема и никого лишнего в ней нет, то вместо ssh можно заюзать netcat. минус шифрация == плюс к скорости/ресурсам
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
01 дек. 2020, в 04:48
229182 руб./за проект
30 нояб. 2020, в 03:19
25000 руб./за проект
01 дек. 2020, в 02:50
3000 руб./за проект