bk0011m
@bk0011m
Системный администратор

Как передать большой объем данных между серверами?

Два сервера Linux Debian. Между ними прямой оптический линк 10Gbit
Пытаюсь копировать через NFS, CIFS - никак не могу скорость передачи поднять выше 1 гигабита/с
В тоже время Iperf - показывает что реальная скорость 9.57 Гигабит/с
Есть идеи как мне передать кучку терабайт информации и не зависнуть на неделю в ожидании?
Процессор не нагружен. Диски SAS в 10м рейде.
Думаю узкое место это NFS или CIFS
  • Вопрос задан
  • 844 просмотра
Решения вопроса 3
ky0
@ky0
Миллиардер, филантроп, патологический лгун
Если много мелких файлов - rsync или tar c | ssh | tar x через SSH-туннель без шифрования. Если файлы крупные - можно просто scp.

Ни NFS, ни CIFS подходящими инструментами для вашей задачи не являются.
Ответ написан
bk0011m
@bk0011m Автор вопроса
Системный администратор
В итоге получилось поднять скорость до 3.65Gbit/s
В моем случае это достаточно
Использовал связку:
dd if=/dev/pve/vm-100-disk-1 | ssh root@IP_HOST dd of=/var/tmp/vm-100-disk-1.raw
Ответ написан
hint000
@hint000
у админа три руки
не могу скорость передачи поднять выше 1 гигабита/с
Уверены, что 1 гигабит/с, а не 1 гигабайт/с? При копировании файлов обычно скорость отображается в байтах/c, а на сетевых устройствах в битах/c. Что как раз соответствовало бы пропускной способности вашей оптики (минус накладные расходы).
Ответ написан
Пригласить эксперта
Ответы на вопрос 4
@ComodoHacker
У NFS и CIFS довольно большой оверхед. Попробуйте FTP.
Ответ написан
SLIDERWEB
@SLIDERWEB
ИТ-Куроводитель
Уточните, у вас сетевой стек на обоих серверах подготовлен к работе на таких скоростях? По умолчанию в операционных система семейства Linux праметры настроены на усредненные показатели, которые дают по кругу 500-600 мегабит. Для передачи/получения данных на скоростях выше гигабита необходимо немного подстроить хосты (MTU/SlowStart/буферы и тп).
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы