Скачать 30 GB файлов с VPS, максимально быстро, желат. многопоточно — чем можно?

Question

[hostovik]

На vps лежат 10 файлов по 3 ГБ.
Данные такие что крайне плохо сжимаются.
Данные особой ценности не представляют- можно качать "не шифруя".
Каналы у vps и у меня быстрые, но данные будут часто обновляться , их часто придется скачивать и быстро анализировать - поэтому важна каждая выигранная минута

Чем такое лучше сделать?

Comments

[Армянское Радио]

Если файлы будут во время скачивания обновляться, вы скачаете фарш.

Обновляются все 30 гигабайт или меньше?

[Gennady S]

Посмотрите опции утилиты wget , и потоки, и дозагрузка, и в скрипт можно встроить.

[АртемЪ]

Меняются сильно?

Answer 1

[# .]

rclone

Answer 2

[Максим Корнеев]

не рассматривалась возможность анализировать на сервере и скачивать результат? ну типа если счет на секунды - это самый быстрый вариант...

Answer 3

[pfg21]

syncthing отвечено уже.

Answer 4

[CityCat4]

Если время обновления одного файла меньше времени его скачки - качать бессмысленно, он в процессе скачки уже изменился и получится каша.
(ну то есть, если файл меняется быстрее, чем успеваешь его скачать)

Answer 5

[Володимир Паламар]

axel -a -n 9 url:// -o file.zip

Answer 6

[Viktor T2]

rclone