Передача больших файлов

Question

[den_admin]

Столкнулся со странной проблемой:
нет адекватных средств передачи относительно больших файлов с одной машины на другую.

почта отпадает сразу, она никогда и не была рассчитана на передачу больших файлов;
ftp в силу разных обстоятельств работает далеко не всегда, кроме того передачи получается 2: клиент — сервер — я
http не поддерживает докачку в случае обрыва; в том числе сервис типа jetbytes
rdp тоже криво работает с большими файлами и не поддерживает докачку
есть еще im клиенты, но они тоже далеко не везде стоят и с докачкой проблемы

очень смотрится в сторону битторрента, протокол который расточен на пролет nat-ов, с кучей проверок целостности и пр. плюшками.

Вроде бы можно под это дело расточить тот же utorrent используя открытые трекеры и/или dth, но это как по мухе из базуки.

в идеале хочется некую маленькую софтину с минимальный интерфейсом из серии накидал файлов драг-дропом
построенную, к примеру, на udt && udp hole-punch
вводим id-шку получаем пира с файлами

может я плохо искал? подскажите, есть ли что-то подходящее под описание?

Comments

[den_admin]

ах, да совсем забыл про такие штуки как scp и sftp, они хорошие, но на больших файлах дают вовсе не нужную нагрузку на cpu

Answer 1

[QuickStudio]

А чем плохо использовать bittorrent с magnet url's?
а если еще DHT включить, то шансы есть даже получить дополнительных внешних сидов

Comments

[den_admin]

нене, я против битторента ничего не имею, просто он несколько громоздкий для этих целей
ну и почему то у меня не получилось передать файл, хотя у одного из пиров был вполне себе внешний адрес, хотя я особо и не старался.

Answer 2

[Борис Сёмов]

У ftp есть fxp, который позволяет избежать дополнительной закачки файла к себе, и осуществить передачу прямо между серверами.

Если нужна передача файлов по udp, между двумя серверами, можно посмотреть в сторону UDT(http://udt.sourceforge.net)

HTTP, кстати, поддерживает докачку после обрыва, если сервер и клиент поддерживают range request.
Например wget поддерживает.

Comments

[Роман Гоголев]

Автор, скорее всего, имел ввиду, что http не поддерживает докачку при аплоде.

[den_admin]

fxp интересная штука, но в целом она не применима, т.к. в большинстве своем такие передачи — это серый ip-серый ip

про UDT читал, смотрел, прикольно, но охота уже готовую штуку, не изобретать велосипед и не гнуть существующие :)

http поддерживает докачку для download-а, но upload тоже умеет рваться.

[Борис Сёмов]

А зачем вам в этом применении вообще upload?

[den_admin]

ну а как? если у меня и у peer'a серые адреса?

Answer 3

[ssbxlan]

Да, и DC++ как вариант

Answer 4

[ssbxlan]

Соединиться с помощью Hamachi, файлы передавать по smb

Comments

[den_admin]

Hamachi — хорошо, но я его в живую не видел, только читал, он при установке какие-то драйвера ставит?

Answer 5

[All3]

на яндексе 5 гигов ограничение. докачка есть.

Но если файл больше 5 гигов, то лучше торрент с магнет ссылкой.

Comments

[den_admin]

на яндексе? яндекс диск?

[Chii]

Яндекс народ. narod.yandex.ru
Для 5гб нужна регистрация в яндексе

Answer 6

[Михаил Лялин]

есть p2p сервисы типа pipebytes.com/, pando.com/ и т.п.

Answer 7

[japh]

rsync — не?

Answer 8

[rtorsten]

Можно использовать шаринг-ресурсы, типа 4shared.com. Макс. размер файла там 2 Гб (конкретно на 4shared), файл просплитить (через total cmd например), залить туда — дать ссылки или акк, если сервис не допускает публичных ссылок. Я так таскал файлы от людей, которые не очень прошарены и для которых существенной проблемой является создания torrent'а. К тому же еще есть + в том, что закачал один раз и не нужно быть в сети, чтобы раздавать.

Вообщем, если подитожить — облачные хранилища данных, я бы в их сторону смотрел.

Comments

[Борис Сёмов]

Нафига в этой задаче какие-то сторонние службы, если файл надо передать от сервера к серверу?

Answer 9

[Batonchik]

Лично я для этого использовал шаринг через Дропбокс. Вполне успешно шарил образы 4++ гб
И докачка у них имеется, если клиент ее поддерживает. Да и ссылка прямая на файл выходит, можно скормить любой файлокачалке.

Comments

[den_admin]

это из серии внешнего шаринг хостинга, не охота 3ю сторону: в скорости сильно теряем, а файлы в постановке большие.

[Batonchik]

мне выгодно было из-за того что часто эти файлы нужно передать не 1 человеку, а нескольким.

Answer 10

[azverin]

Не совсем по условиям задачи, но близко по смыслу.

Когда перетаскиваю сайты и надо тащить много файлов, захожу через SSH на сервер, запускаю MC и залезаю по FTP на второй сервер и скидываю то что нужно.

Соответственно используется FTP, но количество передач только одно.

Answer 11

[ForeverYoung]

http:
wget raw.github.com/smgoller/rangehttpserver/master/RangeHTTPServer.py
cd path/to/share
python path/to/RangeHTTPServer.py порт

Отдает текущий каталог по HTTP, докачку (Range: x-y) поддерживает.

Comments

[den_admin]

опять же когда есть возможность достучаться до пира на прямую то проблемы нет.

Answer 12

[lashtal]

gbridge.com
Надстройка google talk, объединяет подключенные аккаунты в vpn, работает за nat используя вышеупомянутый UDP hole punching (как утверждает вики)

Comments

[den_admin]

ага, гляну, спасибо

Answer 13

[valeg]

netcat )

Answer 14

[egorinsk]

скупе? самба? свой HTTP сервер с докачкой?

Comments

[egorinsk]

Плюс, вам правильно пишут про VPN. OpenVPN бесплатен, свободен, ставим на свой сервер и юзаем.

[den_admin]

ну все круто и openvpn и Hamachi но это же все сложно!
задача ведь проста как 3 рубля: надо передать файл с одной машины на другую.
а если, скажем, нет удаленного доступа, придется долго объяснять клиенту что ему надо скачать и как настроить.

[ssbxlan]

если сложно объяснять, то проще всего дать ссылку. здесь таки свой фтп удобнее всего

Answer 15

[da0c]

Немного не в тему p2p, но из опыта. При передаче большого файла самое неприятное — разрывы. В качестве наиболее устойчивых к разрывам средств для терминального сервака юзаю tsftp, для ftp — CuteFTP. Можно, как вариант, поднять старый добрый subversion.

Answer 16

[danfe]

Для совсем больших объемов, чтобы минимизировать оверхед, я делаю что-нить вроде nc -l 12345 | tar xvf - на принимающей стороне и затем говорю tar cvf - /path/to/transfer | nc target.host 12345 на «отправителе», сжатие по вкусу. Но чаще хватает rsync'а через ssh.

Конечно, если гнать поток через неткат, проблему докачки (в случае необходимости) придется решать отдельно. Впрочем, TCP/IP обеспечивает достаточную надежность в современных сетях, а с задачей минимизации оверхеда netcat справляется отлично.

Comments

[den_admin]

опять же идеальный случай когда есть прямая маршрутизация

Answer 17

[Eternalko]

torrent2exe.

Даже моя мама теперь умеет торрентами пользоваться через меня)

Answer 18

[Ичи Ня]

Относительно небольшими файлами (я кидал 1,2 гига) можно воспользоваться qip, просто перетаскиваем файл на окно и все, но это было в QIP 2005. Он перекидывал файлы на прямую (если компы соединены в локальную сеть, то как и Dropbox он кидает напрямую, а не через инет) и умел функцию дозагрузки (не всегда работала). В новых версиях перекидывает через свой сервис, что иногда не совсем удобно.

Если смотреть в сторону p2p, то лучше воспользоваться программой utoorent туториал на офф сайте