Как лучше передать файл >100Гб клиент-сервер?

Question

[SimpleQ]

Периодически требуется получить от коллег большой файл(>100Гб) для дальнейшей обработки.

1) Нужна докачка файлов при обрыве связи
2) Open-source software.
3) Высокая скорость загрузки.

На сервере можно развернуть всё, что угодно, склоняюсь к Freebsd.
P.S: есть белый внешний IP. Скорость пока 100 Мбит/с но со временем увеличим скорость канала.

Answer 1

[rPman]

100+ гигабайт это выглядит как созданные на пустом месте проблемы (потому как даже с идеальным провайдером долго такие выкрутасы не по делаешь), небось еще в виде архива одним файлом? А там небось внутри 99% файлов уже переданных ранее.

Правильное решение - не упаковывать файлы в архив а держать максимально распакованными, часто в виде источника (т.е. то откуда у вас данные появляются), а там - rsync (установить на стороне-источнике rsync сервер) сам сравнит файлы (по хешам) сам скопирует нужные, удалит старые и это максимально эффективно.

p.s. в случае, если у вас большие файлы меняются хоть и не значительно но с точки зрения rsync это будет новый файл, то можно хранить две копии файлов на источнике - с последней передачи и текущую, затем воспользоваться diff (есть разные утилиты, исторически diff был только для текстов но теперь универсальный, и существуют специализированные версии binary diff) для формирования патча, который позволит из старой версии и небольшого файла-патча восстановить новый, тогда можно будет передавать этот патч.

--------------
подскажите, что у вас за файлы? что в них? постоянные 100гб выглядят как что то необычное? у вас мини коллайдер стоит?

Comments

[Zettabyte]

что у вас за файлы?

Сейчас весьма популярна тема передачи видео для обработки. Объёмы там о-го-го.

Также могут быть архивы, пусть не один на 100 ГБ, а нарезанный архиватором на равные части (100 по 1ГБ, 50 по 2ГБ и т.п.)

Так что задача точно имеет место быть. Я думаю над аналогичной - тоже надо время от времени принимать и передавать большие файлы.

[АртемЪ]

rPman,

потому как даже с идеальным провайдером долго такие выкрутасы не по делаешь

Это почему?

Правильное решение - не упаковывать файлы в архив а держать максимально распакованными,

Ну распакованными будет несколько террабайт.
А 100гигабайт это собственно diff за неделю.
По крайней мере у меня так.
Ничего такого, банальный бэкап на домашний NAS.

[rPman]

Когда я спрашивал откуда у вас 100гигабайт данных, я имел в виду что в них за данные а не в каком формате они. Несколько терабайт хорошо сжимаемых данных? как часто они у вас появляются? что это?

Вы гоняете между машинами по сети несжатый видеоконтент? а зачем?

p.s. Провайдеры наказывают за превышение лимитов, даже не явных, понижением скорости, потому что это их прямые затраты, плюс в сбесившийся принтер в России генерирует максимально дибильные законы к исполнению.

Например мой провайдер, при превышении 100гб в месяц (возможно уже выше лимит, я давно его не превышал так что хз) на внеобластной трафик (или 'внешка') переключает к другим 'качальщикам', где скорость вместо 40мбит станет от силы 5 в среднем. И провайдера можно понять, если я плачу ему всего 250р в месяц и в довесок могу реально безлимитно использовать внутриобластной трафик (100мбит дают 11мбайт/сек торент трафика).

[АртемЪ]

rPman,

Вы гоняете между машинами по сети несжатый видеоконтент? а зачем?

Я не гоняю. А вообще многие гоняют - на обработку отправляют.

Провайдеры наказывают за превышение лимитов, даже не явных, понижением скорости, потому что это их прямые затраты

Ну на западе такое практикуется повсеместно, у нас пока с этим все нормально.

По крайней мере на домашний скидываю архивы иногда в довольно большых объемах, бывали случаи что по 1,5террабайта в сутки.
Скачать или отдать кому-то две, три сотни гигабайт за день это вообще в норме вещей.
Единственная реакция провайдера - позвонил когда большой трафик был и поинтересовался - все нормально, нет ли вирусов, т.к трафик большой. Я сказал что трафик мой и все.

Answer 2

[Dim Boy]

rsync решение №1

Comments

[Andrey]

Как думаете, можно-ли использовать scp?

[Zettabyte]

Сложно сказать про удобство скачивания - если у коллег Windows, смогут ли они скачать без бубна?

Кроме того, будет ли скорость выше, например простого FTP с включенной многопоточностью?

[Владислав]

Allepta, с rsync передача данных быстрее чем с scp, так же есть возможность докачки при обрыве и синхронизация только отсутствующих файлов, ну и куча других настроек

Answer 3

[VoidVolker]

• Развернуть FreeNAS на сервере, а там использовать любой файловый сервис (от самбы и WebDav до облачных решений типа seafile).
  
• Торрент. Локально создается раздача, где указывается веб-сид ip:port сервера. Клиенту кидается торрент файл и клиент качает его.
  

Comments

[Zettabyte]

С учётом специфики задачи, где во главе угла скорость и докачка, думаю, что оба этих варианта проиграют простому FTP с поддержкой нескольких потоков.

Торрент, кстати, при таком раскладе (один сид/один пир) даже близко не забирает всю возможную скорость канала.

Если что, сам думаю над аналогичной задачей.

Answer 4

[Владислав]

Сам лично несколько дней назад передавал >100Gb данных на сервер через rsync.
Для поддержки докачки при обрыва связи у rsync есть флаги "--partial --append-verify"