Надежная передача данных по нестабильному соединению?

Question

[IRT]

Есть Macbook c немного глючным Wi-Fi адаптером, через 5-10 Гбайт переданных данных по Samba или SSHFS соединение отваливается. Если тут же начать передачу заново, все идет нормально.

Вопрос. Как передать много гигабайт быстро через нестабильный и отваливающийся Wi-Fi? Есть rsync, но у него нет GUI и нужно городить скрипты вроде:

#!/bin/bash

while [ 1 ]
do
    rsync -avz --partial source dest
    if [ "$?" = "0" ] ; then
        echo "rsync completed normally"
        exit
    else
        echo "Rsync failure. Backing off and retrying..."
        sleep 180
    fi
done

Через SSHFS и Midnight Commander (запущенный в screen на макбуке) это выглядит так. Начинаем копировать, через некоторое время ошибка, жмем «Продолжить».. Segmentation Fault, mc вылетает.

Как скопировать сотни гигабайт по сети с уверенностью, что все скопировалось бит в бит? Проверять MD5 хеши у каждого скопированного файла не вариант. Мне все это видится в виде некоей надежной сетевой файловой системы. Где данные отсылаются кусками по, скажем, 64 Мбайта, с автоматической проверкой хеша каждого куска после передачи. И около 10 попыток повторно передать это кусок 64 Мбайт, перед тем как окончательно сдаться. Главное, чтобы для Midnight Commander и других программ, пока файловая система пытается выковырять очередной кусок данных, это бы не выглядело ошибкой ввода-вывода и они не падали в Segmentation Fault.

Если что, проблема не в сервере, через кабель все льется стабильно.

Comments

[Griboks]

Я бы написал прогу для переда по 64 по 10 попыток. Имхо это проще, чем разбираться с этими утилитами.

[IRT]

Griboks, хотелось бы, чтобы это было прозрачно для обычных утилит работы с файловой системой (cp, mc). Чтобы удаленная ФС монтировалась таким образом, что обрывы связи и выдергивания кабеля не влияли на копирование файлов.

Answer 1

[АртемЪ]

Как вариант - программа для синхронизации файлов через протокол битторрент (бывший btsync)
https://www.resilio.com/

Или банальный FTP, SFTP.

SAMBA нормально работает только на стабильных и скоростных каналах.

Comments

[IRT]

btsync и resilio проприетарные программы (не критично), и не поддерживают выборочную синхронизацию отдельных файлов в каталоге в бесплатной версии (уже критично). $59.99 стоит PRO версия с Selective Sync.

[АртемЪ]

IRT, Ну если выборочно, ftp - sftp чем не устраивает?

[IRT]

АртемЪ, то же самое. Подключаюсь Midnight Commander к FTP, соединение рвется, MC вылетает. После чего продолжаю закачку, докачиваю до конца, проверяю вручную MD5 — не совпадает. Где-то пролезли лишние байты или не оттуда продолжилось скачивание. Не помехоустойчиво.

[АртемЪ]

IRT, попробуйте другим клиентом поддерживающим докачку при обрыве.
Например Filezilla.
У меня весь обмен трафиком - это примерно 300мб в сутки на клиенте, и 300-800гб на сервере построен частично на btsync, частично на ftp.
В качестве сервера стоит filezilla, клиенты -wget и aria2. Если GUI нужен - та же файлзилла.