Многопоточная Передача файла ~200Gb между 2мя серверами?

Question

[odmin4eg]

Всем хорошего дня, столкнулся с бедой… есть 2 физически отдалённых друг от друга сервера.


есть файл бэкап сайта весом в ~200гб

качаю через wget скорость на уровне 800килобайт в секунду, это примерно 3 дня перекачивания


на сервере где он сейчас лежит свободно ещё 140гб, то есть поделить файл тем же 7z на части и качать как кучу файлов я не могу.


если между этими серверами я начинаю качать ещё один файл, то скорость не падает.


попробовал aria2c -j 10 /

не помогает особо, скорость скачивания также отображается на увроне 800-900кб…


думал про торренты, поставить 2 консольных торрент клиента, на одном создать торрент файл, на втором его взять…

но без трекера я так понимаю не будет это всё работать? — или ошибаюс,. а выкладывать в торрент дамп сайта не очень разумно


в общем нужны варианты а то 2.5-3 дня буду ацки долгими


заранее спасибо

Answer 1

[Михаил Рожков]

А протокол какой? Для http/ftp в aria2 отдельная опция (-x) — количество соединений с одним сервером.

Comments

[odmin4eg]

да, похоже оно, а я -j баловался.

Answer 2

[laQie]

Для многопоточной загрузки можно попробовать Axel. Еще как вариант rsync.

Comments

[Алексей Акулович]

Поддерживаю вариант с axel. Умеет докачивать при обрыве (создает файлик с состоянием).

Answer 3

[Виталий Перетятько]

Торрентом перелить проще всего, на одном сервере ставите на раздачу, трекеры не прописываете. На другом добавляете через magnet. Скачивание начинается, ваш бекап никуда не уплывет.

Comments

[sba]

также на втором сервере в торрент-клиенте можно просто добавить сида (адрес первого сервера, с которого идет раздача)

Answer 4

[ValdikSS]

Какие ОС у вас на ПК? Тоже linux? Тогда смело выставляйте на обоих компьютерах в /etc/sysctl.conf это:

net.ipv4.tcp_slow_start_after_idle = 0

net.core.rmem_max = 4096 87380 4194304
net.core.rmem_max = 4194304
net.ipv4.tcp_wmem = 4096 65536 4194304
net.core.wmem_max = 4194304

net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3

net.ipv4.tcp_fin_timeout = 10
net.ipv4.tcp_retries2 = 5

net.ipv4.tcp_congestion_control = illinois

и потом sudo sysctl -p

И поднимайте http-сервер, как вы, похоже, делали ранее, и качайте через aria2 с такими параметрами:
aria2c --max-connection-per-server=12 --min-split-size=10M -s 12

Можете еще использовать какой-либо софт с UDP, но тут я вам особо не подскажу.

Answer 5

[Dolios]

Бюджет?
Есть система специально заточеная на скоростную передачу файлов большого размера, используется, например, киношниками. Многопоточная или нет, не знаю, со своей задачей справляется. Но стоит недешево.

asperasoft.com/

Comments

[odmin4eg]

Один файл бросить всего.

[Dolios]

Тогда сорри. Думал вам на регулярной основе файло качать требуется.

Answer 6

[Пума Тайланд]

Попробуйте лить через ssh

Answer 7

[Ruslan_Voloshin]

ИМХО иногда бывает быстрее с хардом пробежатся

Comments

[odmin4eg]

c Красноярска в Москву? :)
да ещё из одного ДЦ в другой?

скорость упала до 100-200кб в секунду :(