Как быстро передать 100 Гб между двумя ПК в разных странах?

Question

[Chvalov]

Необходимо на максимально возможной скорости передать более 100ГБ информации с сервера (Debian) на клиент (MacBook)

Попробовал с помощью torrent-а, на сервере создал раздачу, на клиенте начал качать, у обоих канал 100МБ/с.
Скачивание идет на скорости около 600кб/с - 1.7МБ/с

Замер SpeedTest от моего провайдера к провайдеру сервера (OVH) и также с OVH к моему провайдеру в приделах 87-95Мб/с.

Также сделал замеры с помощью iperf3, тут картина грустная, с использованием TCP скорость в среднем 8 Мбит/c, потолок 14 Мбит/с
Но при использовании ключа -u (UDP) скорость от 88 до 101 Мб/с

На сервере deluge, на клиенте uTorrent -> Возможно ли их заставить работать на протоколе UDP ?

И есть ли другие варианты передать такой большой обьем, без повреждений через UDP ?

Comments

[Dmitry Bay]

купите яндекс облако на месяц. Не торопясь, с одного компа, потом на другой.
Если для вас скорость не принципиальна конечно.
А вообще сильно зависит от стран.

[Chvalov]

Dmitry Bay, как раз когда-то все файлы перенес был с Яши на nextcloud, теперь всю помойку нужно выкачать и держать на харде

Да и с Yandex совсем не варик, в Украине ток через vpn/proxy можно получить доступ

[Dmitry Bay]

Chvalov, есть еще такой вариант - найдите комп посередине, который сможет держать 100 мбитс поток, поднимите прокси, и скопируйте.
Я пока в Азии был, доступ к русским серверам предпочитал делать как раз через vpn московский.

[Chvalov]

Dmitry Bay, это вариант, можно прокси поднять, а лучше vpn и подключится с двух клиентов, чтобы скачка была как в локальной сети

[Dmitry Bay]

Sha644, Вы в целом против прокси варианта? Пусть даже VPN.

Если файлы преимущественно мелкие, то ftp адом будет...

[Dmitry Bay]

Sha644, ок, спасибо. Мне просто любопытно что да как делать в таких случаях, поэтому в комментариях и болтаю.

[Данил]

Решал подобную задачу через гугл диск, качало всегда по максимуму канала что на вход, что на выход

Answer 1

[Fixid]

https://www.resilio.com/
Суммарно перегнал 6Тб
Выжирает весь 200мб/с канал между компом в России и сервером в США
Юзает UDP

Comments

[Chvalov]

Попробую, если получится дам знать, а пока вопрос, есть ли проверка файлов на целостность ?

[Fixid]

Chvalov, раньше называлось btsync и там было все. Потом окомерчились и стали resilio. Давно не обновлялся, но раньше все это было. В крайнем случаем можно поискать бинарь btsync, он все еще работает как надо :)

[pfg21]

Chvalov, нормально в ресилио всё, от бтсинка отличий только в имени. - тот же торрент-протокол, только немного другой заточенности.

[alex-1917]

перегнать-то перегнал, а сколько времени заняло? ТС просил вариант быстро
Надо бы подписаться, а то говорят на таможне к амерам если видят в багаже HDD, то заставляют показывать что внутри.
32Тб.

[Fixid]

alex-1917, кому вопрос?

[pfg21]

Dance Macabre, в синх давно уже встроен автоматический проброс портов через uPnP. прекрасно работал между компами, при этом оба находили за NAT.

[alex-1917]

Fixid,

Суммарно перегнал 6Тб

[Fixid]

alex-1917, примерно 4 часа на индексацию и 3 суток на передачу

[alex-1917]

Fixid, хренаси... т.е. на период передачи надо иметь одну и ту же емкость (в вашем случае 6Тб) на обоих концах...
а у кого-то 32Тб

[Fixid]

alex-1917, что вполне логично :)
32Тб не так уж и дорого для серверного решения.

[Fixid]

Chvalov, есть результат?

[Chvalov]

Fixid, Тестил, удобная тулза, но прироста в скорости также нет

Answer 2

[АртемЪ]

Необходимо на максимально возможной скорости передать более 100ГБ информации с сервера (Debian) на клиент (MacBook)

При такой постановке задачи подойдет любой FTP сервер и клиент, например бесплатный filezilla.

Попробовал с помощью torrent-а, на сервере создал раздачу, на клиенте начал качать, у обоих канал 100МБ/с.
Скачивание идет на скорости около 600кб/с - 1.7МБ/с

Так и должно быть.
Это у вас в интернет канал до 100МБ/с а на конкретное направление - как повезет. Попадется по маршруту канал в другую страну на 10МБ/с да еще и загруженный на 80% и все.
Чтобы торрент работал эффективно вам нужно создать пару десяток раздач на серверах в разных странах, и только тогда начать качать клиентом.
Преимущества торрента появляются только тогда, когда у вас десятки раздающих серверов разбросанных территориально.
Если у вас один раздающий сервер - лучше FTP использовать, быстрее будет.

И есть ли другие варианты передать такой большой обьем.

Быстро передать - менять провайдера, маршруты.
А если текущая скорость устраивает - качайте FTP.

Comments

[Chvalov]

То есть можно такой вариант сделать, с помощью sshfs монтирую нужную директорию на соседнем сервере (между серверами канал не проседает) и на втором также стаю на раздачу или толку с этого не будет ?

[АртемЪ]

Chvalov, Толк будет если сервера находятся как минимум у разных провайдеров.
Если они подключены к одному провайдеру - толка не будет.

Если у вас есть сервера за границей - можете просто сделать проброс портов на ваш сервер с раздачей, и использовать их в качестве пиров.

Тут фишка в чем - по маршруту от вашего провайдера до нужного вам клиента есть узкий участок.
Вы хоть сотню серверов поставьте у этого провайдера - они все будут упираться в этот узкий участок и делить его между собой.

А если вы поставите сервера у разных провайдеров - есть шанс что там нужный вам маршрут будет пошустрее, а даже если и нет - все равно есть вероятность что будет быстрее ибо по двум независимым маршрутам пойдет.
Чем больше серверов, и чем сильнее они раскиданы по миру, тем лучше.

[АртемЪ]

Еще вариант - десяток локальных раздающих серверов, и 9 из них подключены через прокси.
Прокси выбираете в разных странах.

[АртемЪ]

У вас вообще это разовая акция, или постоянно надо будет так делать? Если постоянно - данные уникальные каждый раз передавать или нет?

[Chvalov]

АртемЪ, Один раз, переношу файлы с nextcloud на хард диск

А вариант с локальными раздачами и прокси как реализовать ? (Взять десяток торрент клиентов и пустить каждый через разный прокси ?)

[АртемЪ]

Взять десяток торрент клиентов и пустить каждый через разный прокси ?

Да.

[Chvalov]

АртемЪ, А не знаете, есть ли какая-то gui песочница под debian с доступом к файловой системе, а то ставить все возможные торрент клиенты не очень гуманно )

[АртемЪ]

Chvalov, Не, я с линуксами если работаю то через ssh. В GUI линуксовых почти полный ноль.

[Chvalov]

АртемЪ, а с консольных ?

[АртемЪ]

Docker

Answer 3

[stratosmi]

syncthing

Comments

[Chvalov]

Работает по udp ?
Трафик TCP шейпится

[stratosmi]

Chvalov,
умеет через свои сервера строить трафик.
может, спасет.

[stratosmi]

Chvalov, плюс там миллион настроек, может и UDP есть.

[pfg21]

ресилио и синх на мой взгляд стоит юзать только при необходимости постоянного обмена файлами.
для разовой отправки торрент и быстрей и прощей и эффективней.

Answer 4

[Константин Цветков]

Предложения:
использовать uTorrent с двух сторон;
проверить нет ли ограничений по скорости в настройка torrent-клиентов.

uTorrent -> Возможно ли их заставить работать на протоколе UDP ?

µTorrent переходит на UDP-протокол.

Comments

[Chvalov]

Переход был 10 лет тому назад, что и как сейчас не знаю, разве что сидеть с wireshark смотреть.

В Windows версии uTorrent-а в настройках есть вкладка дополнительные, там можно выставить только udp, увы в mac такой вкладки нету.

Буду пробовать ещё клиенты...

[Константин Цветков]

Chvalov Вполне возможно хватит использования uTP.

[pfg21]

поставь трансмиссию - она есть под мак и в ней есть udp.
не игрался с делюгой, но udp уж должны были к ней прикрутить.

[АртемЪ]

Chvalov, у вас задача разовая, или это регулярно надо делать?
Если регулярно - можно варианты придумать.

[Chvalov]

Разово

Answer 5

[uvelichitel]

Я использую NFS на сервере потому что это удобно и достаточно быстро. Если нужно быстрее и инкрементально, то rsync -z (-z флаг компрессии). Так вы уже упретесь в скорость дисков. Если нужно еще быстрее (например у вас SSD в рейде), то быстрее netcat (nc) с компрессией по моему ничего нет
На macbook в целевом каталоге
$ nс -l 4444 | tar xzvf -
(4444 это порт, может быть любой. Порты меньше 1000, корневые каталоги да и вообще nc могут потребовать sudo)
На Debian сервере в каталоге источников
$ tar -czf - * | netcat -N адрес.макбука.доменноеимя.илиIP 4444
Если уж очень нравится UDP добавьте к nc командам флаг -u
Зачем в двухточечном соединении bittorrent протокол я не понимаю. По моему опыту даже с традиционным rsync вы раньше упретесь в дисковую подсистему. Но с rsync вы получите массу опций, быстрая инкрементая синхронизация малых изменений например и накопленый опыт туториалов, гайдов и мануалов.

Comments

[Chvalov]

rsync - все также вяло качает
nc - увы не знаю как работать когда клиент находится за nat (

[Chvalov]

Пробовал передать файлы с клиента на сервер, nc показывает лучшую скорость передачи, по сравнению с sftp, p2p и rsync

Answer 6

[Johny Smith]

www.rejetto.com/hfs

Comments

[aldroid]

А вы можете заставить HFS отдавать одному клиенту на полной скорости отдачи вашего канала? У меня он ограничивает поток в 100 кб и позволяет 6 потоков без снижения скорости. Ручки крутил - выше не дает.

[Johny Smith]

aldroid, залейте в какойто облако файлы и скиньте ему ссылки на них

[pfg21]

Olek1, 100 гб еще не всякое облако бесплатно возьмет. да и за хорошую скорость бабки могут потребоваться.

[АртемЪ]

pfg21, Да элементарно.
Mega.nz - бесплатный тариф 50ГБ
Скорость закачки у меня порядка 2-3МБ/с

Но тут опять какая фишка с любым облаком - скорость высокая потому что у них сервера по всему миру, и я закачиваю в ближайший.
А скачивать потом с него будут с другой страны - и там не факт что скорость будет приличной.

[pfg21]

в облаке есть один минус - оно чужое. это конечно определенный маразм, но иногда впутывать левых не хочется.
ну и скорость в торренте ограничивается лишь возможностями клиентов и сети между ними.
не в данном случае конечно, но при хорошем количестве личей, я входящий поток 100 мб/с раскочегаривал на 90% т.е. получал до 11 мбайт/с и на стареньком компе раздавал за неделю чуть больше террабайта.
и да - у торента есть очень хорошее свойство - контроль целостности передачи - чтобы ни случилось с обрывами и прочим раздача будет скачана на 100%. в http ftp и подобных протоколе такого нет.

[Johny Smith]

pfg21,

в облаке есть один минус - оно чужое. это конечно определенный маразм, но иногда впутывать левых не хочется.

зашифруйте тогда, и разделите файл на 10 частей, и дайте десять ссылок получателю, можете 5 файлов залить на одно облако, и 5 на другое, если уж совсем паранойя

[pfg21]

брать велосипед чтобы еще его костылить ??
я понял твою мысль, и у меня есть несколько облаков со всяким барахлом, и даже фтп на мелком сервачке. но для некоторых дел пиринговые сети удобнее.

[Johny Smith]

pfg21, ви до кого зараз звертались під моєю відповіддю?

Answer 7

[chupasaurus]

В порядке бреда можно поставить на докере nginx, который будет отдавать необходимые файлы, а перед ним QUIC reverse proxy, качать на Маке через Chrome. Если интересно, могу накидать конфиг.

Comments

[Chvalov]

Nginx нужен именно в контейнере docker ? (На сервере сейчас установлен nginx)
Но качать придется качалкой какой-то, так как кол-во файлов очень большое...

И нужно выкачать по udp, так как tcp шейпится провайдером

[chupasaurus]

Chvalov, Не обязательно, просто указанный мной образ придётся запускать через хостовую сеть.
QUIC работает поверх UDP.

Answer 8

[profesor08]

Поднимаешь одной строчкой (http-server -p 8080) простейший http-server в папке с файлом на сервере и качаешь по ссылке http://server-ip:8080/file_name любым удобным способом. Хоть одной строчкой

curl http://server-ip:8080/file_name --output file_name

.

Answer 9

[Boris Köln]

Если ключевое слово "быстро", то со своим Макбуком на самолете слетайте в дата-центр и там по прямому подключению скопируйте всё. Также можно погуглить "Amazon Snowmobile".

Если ключевое слово "просто", то воспользуйтесь обычным консольным sftp-клиентом.

Answer 10

[klepiku]

используйте открытый трекер сервер и все будет не так грусно

Comments

[Chvalov]

Так открытый и используется:
udp://tracker.opentrackr.org:1337/announce

[klepiku]

и он работает ?

просто многие открытые сейчас блокируют
просто находите тот который работает у передатчика и приемника

[Chvalov]

klepiku, Работает, ток хз каким образом, но мои раздачи засветились на sosocili.xyz и еще какие-то черти начали выкачивать файлы, хорошо что заметил еще на стадии выкачивания.

[klepiku]

а архивчик с паролем на что ?

между нами выкладывать для фишеров не запароленые данные крайний дибилизм