Как передать большой объем данных между серверами?

Question

[Сергей]

Два сервера Linux Debian. Между ними прямой оптический линк 10Gbit
Пытаюсь копировать через NFS, CIFS - никак не могу скорость передачи поднять выше 1 гигабита/с
В тоже время Iperf - показывает что реальная скорость 9.57 Гигабит/с
Есть идеи как мне передать кучку терабайт информации и не зависнуть на неделю в ожидании?
Процессор не нагружен. Диски SAS в 10м рейде.
Думаю узкое место это NFS или CIFS

Comments

[antonwx]

А производительности хранилища-то хватает?

[Сергей]

antonwx, Более чем. В том и дело, что диски простаивают. Проц тоже.
На интерфейсах ошибок нет. Уже все проверил, все работает. А скорость низкая, хоть убейся

[pfg21]

а если использовать tar как сериализатор файловой системы и netcat как сетевой транспорт.
имхо самый простой в плане перековыриваний данных и возможно самый быстрый способ для доверенной сети.
потом прокатиться rsync'ом для подчищения грешков недокачачнного ??
для скорости в несколько процессов.

[Сергей]

pfg21, Там есть сложности о которых я недосказал
Это все Proxmox. Мне нужно перенести виртуалки. А они все на LVM разделах.
Proxmox понимает ISCSI, NFS, CIFS...
если бы диски лежали в образах - я бы их легко перенес. А тут сложнее.

[pfg21]

Сергей, дык у тебя lvm-же делаешь снапшот LVM, а потом его dd в образ.
можно через сетевой транспорт сразу сделать dd на раздел/lvm удаленного компутера, но тут могут быть косяки с обрывами.

[Сергей]

pfg21, Снапшот где-то размещать нужно. А на локальном диске нет места.
Есть контейнер LVM-Thin, но можно ли его как-то смонтировать, не нашел
Пробовал через ssh копировать, опять выше одного гигабита скорость не поднялась

dd if=/dev/pve/vm-111-disk-1 | ssh root@192.168.1.2 dd of=/var/nfs/vm-111-disk-1.raw

[pfg21]

судя по адреске у тебя локальная сеть - сиречъ доверенная. спробуй вместо ssh использовать netcat.
согласен на современных процах с аппаратными шифраторами ssh быстр, но хотя бы для сравнения.
кстати на целевом компе не в nfs-привязанную папку заливаешь ??

[pfg21]

кстати можно проверь скорость чисто канала через
dd if=/dev/zero | pv | ssh | dd of=dev/nul
pv покажет скорость

да и вообще протестировать каждый элемент канала и узнать где узкое горлышко.

[Сергей]

pfg21, Не понимаю что было, но на ночь выключал второй хост, утром сегодня включил и скорость через ssh выросла до 3 гигабит...
Короче, некогда уже разбираться. Буду пользовать тем что есть. 3 гигабита, это не один. Намного лучше

[pfg21]

Сергей, "диавол кроется в деталях" любимые слова одного очень старого инженера, который начинал еще с релейных схем :).
коль не получается прямо - ставь костыли: запусти отправку в несколько потоков

[Сергей]

pfg21, Пробовал. Скорость не выросла.
Подозреваю уперся в скорость самих дисков. Сервер старый, разбираться лень )
Копирую

[pfg21]

у тебя ж рейды. dd if=if=/dev/pve/vm-111-disk-1 | pv > /dev/nul
работает и ладно.

Answer 1

[ky0]

Если много мелких файлов - rsync или tar c | ssh | tar x через SSH-туннель без шифрования. Если файлы крупные - можно просто scp.

Ни NFS, ни CIFS подходящими инструментами для вашей задачи не являются.

Comments

[Сергей]

А что скажете на счет ISCSI ?? есть смысл заморачиваться?
Или получу в итоге тоже что и NFS?

[ky0]

Сергей, зависит от того - разовая это у вас операция или предполагается частое использование. В целом, iSCSI по оптике на быстрых дисках может выдавать нужные вам скорости - по крайней мере у нас именно так работают некоторые СХД.

[Сергей]

ky0, операция разовая, но сервер не должен простаивать долго.
ок. буду пробовать

[Денис Юрьев]

Сергей, в вашем случае главное флаг -z у rsync лучше не использовать, а то в процессор по производительности упретесь

Answer 2

[Сергей]

В итоге получилось поднять скорость до 3.65Gbit/s
В моем случае это достаточно
Использовал связку:

dd if=/dev/pve/vm-100-disk-1 | ssh root@IP_HOST dd of=/var/tmp/vm-100-disk-1.raw

Comments

[rt3879439]

если заменить ssh на например netcat, то скорость должна существенно увеличиться.

[rt3879439]

и rsync без ssh пробовали ?

[Сергей]

rt3879439, Нет не пробовал. В моем случае он не подойдет, потому я не стал тратить время на него.
То же самое с ISCSI

[Сергей]

rt3879439,

если заменить ssh на например netcat, то скорость должна существенно увеличиться.

Я думаю что врядли. Скорее всего дальше уже упирается в дисковую систему.

Answer 3

[hint000]

не могу скорость передачи поднять выше 1 гигабита/с

Уверены, что 1 гигабит/с, а не 1 гигабайт/с? При копировании файлов обычно скорость отображается в байтах/c, а на сетевых устройствах в битах/c. Что как раз соответствовало бы пропускной способности вашей оптики (минус накладные расходы).

Comments

[Сергей]

Абсолютно уверен
Прямо сейчас копирую файл в 1 терабайт, для проверки.
Скорость в пике 10.3 Gbit/s
Средняя скорость: 971 Mbit/s

[Сергей]

[Сергей]

Это то, что nload показывает. Мягко говоря, график стремный. Он должен быть сплошным потоком, а тут пакетами с паузами передается

[hint000]

Сергей,

Думаю узкое место это NFS или CIFS

Для проверки попробуйте по ssh скопировать.

[Сергей]

hint000, Еще медленнее получилось
Средняя скорость около 300Мбит/с

[Сергей]

C SCP получилось разогнать до 3-х гигабит/с
В целом лучше чем другие варианты

[Валентин]

На 10Гбит уже надо тюнить линуксовый сетевой стек. Как минимум для этой задачи может jumbo frame помочь (раз образы виртуалок льете, то бишь большие файлы).

Answer 4

[ComodoHacker]

У NFS и CIFS довольно большой оверхед. Попробуйте FTP.

Comments

[Fenrir89]

Согласен, тоже частенько приходится большие данные копировать, лучше ftp пока ничего не нашёл, только для мелких файлов надо использовать многопотчную передачу

Answer 5

[Игорь Горгуль]

https://github.com/hjmangalam/parsyncfp

Утилизирую этим 10Гбит

Answer 6

[Владимир Пилипчук]

Уточните, у вас сетевой стек на обоих серверах подготовлен к работе на таких скоростях? По умолчанию в операционных система семейства Linux праметры настроены на усредненные показатели, которые дают по кругу 500-600 мегабит. Для передачи/получения данных на скоростях выше гигабита необходимо немного подстроить хосты (MTU/SlowStart/буферы и тп).