Как передать много (очень много) данных между двумя машинами в Интернете?

Question

[AlexanderG]

Навеяно вопросом.

Недавно возникла необходимость перекинуть большой объем данных (115ГБ, но это не предел) между двумя машинами. Обе имеют серые адреса и выходят через PPPoE. Попробовали несколько разных способов, но ничего вменяемого не получилось и, скорее всего, придется везти диск лично.

Что попробовали:
-Торренты (magnet и сам файл). Не взлетело, очевидно, из-за серых адресов и PPP.
-Hamachi. NetBios, FTP в виртуальной сети. Очень низкая скорость (<200кБ/с).
-Opera Unite. Тоже низкая скорость.

При этом каналы на обоих машинах приемлемые, на отдачу ~10МБит/с. На какой-либо бесплатный хостинг залить нет возможности, слишком много данных, а арендовать ради однократной передачи нет смысла).

Есть ли какие-то способы решить задачу?

Answer 1

[Евгений Безымянников]

Могу на серваке выделить место и выдать ftp акк. если еще актуально.

Comments

[philpirj]

Вы щедрейшей души человек.

[Евгений Безымянников]

Места много в наличии, очень много :)
Грех не помочь.

Answer 2

[SerDIDG]

А есть возможность разбить данные? Можно средствами дропбокса и подобных сервисов частями передать.
А вообще арендуйте белый айпи на той тачке, с которой нужно выкачать данные, это не дорого, тогда можно будет, как писалось выше, поднять веб сервер.

Comments

[Семен Дубина]

А можно и VDS-ку взять на пару дней тестирования с внешним ip))

[AlexanderG]

Разбить можно, но неудобно. Да и у дропбокса скорость тоже не поражает воображение, 300-400кБ/с.
В случае с белым адресом возникает проблема PPP и проброса портов. Не получилось это сделать, пробовали поднять FTP, но его не видно снаружи все равно.

[SerDIDG]

В случае с белым адресов можно поставить аппач и просто кинуть ссылку на файл. А на той стороне скачать какой либо качалкой. Мы так с друзьями делали.

Answer 3

[andreysmind]

хард-диск с данными, отправить с курьером.

Comments

[AlexanderG]

Пока видится самым реальным вариантом :)

[Дмитрий]

Или несколько SD карточек по 32 Гб, вероятность что повредятся при транспортировке меньше чем винт, и отправить проще (Даже в обычном конверте).

[AlexanderG]

Есть WD Passport на теребайт и ехать не очень далеко. Просто неохота тащиться, когда у всех широкий канал есть…

Answer 4

[Семен Дубина]

Точно, берите VDS! Почти, везде есть пара дней тестирования… 115 Гб успеете переправить. С внешним ip уже достаточно много вариантов.

Answer 5

[agmt]

Торренты (magnet и сам файл). Не взлетело, очевидно, из-за серых адресов и PPP.

Использовался последний uTorrent? Было ли разрешено uTP (bt.transp_disposition=31)? По слухам он умеет UDP Hole Punching. Впрочем, раз у Hamachi не получилось сделать быстрое соединение, значит дело плохо.

P.S. жалко, что мою любимую статью по этой теме таки удалили с хабра. Можно найти так: gliffer.ru/articles/setevie-tehnologii--iz-pesochnitsi-prostoy-nat-traversal-na-osnove-openvpn-i-koe-chto-eshchyo-chast-1/, а раньше сидела тут habrahabr.ru/post/131873/.

Comments

[AlexanderG]

Торрент последний. Любопытно, что все раздачи работают прекрасно, как с трекером, так и с DHT, а вот эта передача ни в какую, хотя и пира напрямую пробовал добавлять, и порты открывал.

[agmt]

Трекер и DHT — это работа клиентом. Я лично под серым ip не копался, но исходя из теории, для этого явно надо разрешить uTP (даже, пожалуй, лучше bt.transp_disposition=26, дабы запретить соединения TCP), указать порт исходящих соединений и именно на него пытаться долбиться с другого компьютера. А с этого, соответственно, долбиться на исходящий порт другого одновременно.
Вряд ли, конечно, но даст ли прирост скорости использование IPv6 (toredo, например)?
P.S. если задача имеет в т.ч. и академический интерес, я бы запустил сервер на машине с белым IP и посмотрел, с каким портом источника приходят UDP-пакеты.

[AlexanderG]

Боюсь, не получится попробовать, человек особо не разрешает копаться у него в машине.

Answer 6

[Михаил Лялин]

host02.pipebytes.com/
livebusiness.ru/news/4522
pando.com/

Comments

[AlexanderG]

Спасибо, нужно будет попробовать.

Answer 7

[Назар Мокринский]

А если на одной машине поднять веб-сервер и на другой стянуть через wget?

Comments

[AlexanderG]

Прямое соединение не установить — серые адреса и куча локалок по пути.

Answer 8

[Илья Плотников]

Хотел предложить удаленную файловую систему, но тут без третьего не обойтись, а это неплохо замедлит.
Попробуйте какой — нибудь хостинг, позволяющий создать VPN сервер, а потом подключиться с двух машин. Думаю, будет быстрее, чем хамачи в разы.

Comments

[Илья Плотников]

Опять же, если совет SerDIDG невозможно воплотить в жизнь

[SerDIDG]

Можно попробовать TeamViewer, но там вроде тоже скорость сильно падает.

[AlexanderG]

TV, вроде, тоже гонит через свои сервера, поэтому и можно подключаться просто по номеру.

Answer 9

[bad_guy]

Передача «напрямую», без закачки на сам сервер — jetbytes.com/
Ну или например — selectel.ru/services/cloud-storage/

Answer 10

[Seekeer]

Я бы сделал так: забил бы на архивы по 4,8 гигов, и заливал бы через Я.Диск. Пока первый архив качает одна машина, вторая уже заливает следующий. Будет некоторая задержка по сравнению с прямой передачей, но думаю, это не критично.

Answer 11

[a3x]

crashplan — позволяет синхронизировать данные между машинами, в обход их облака

Answer 12

[AlexTest]

1. Данные заархивируйте каким-нибудь быстрым способом и разбейте на части примерно по гигабайту.
2. Возьмите дешевый за 1-2 бакса, или бесплатный тестовый VPN типа такого hideme.ru/vpn/ на одни сутки, подключите к этому VPN компьютер, с которого надо забрать данные.
3. На этом компе запустите любой подходящий сервис-«отдавалку» файлов (http, ftp и т.д. и т.п.).
4. Смапируйте порт этого сервиса на ваш реальный внешний VPN IP-адрес.
5. Подключитесь на этот «адрес: порт» соответствующим «отдавалке» клиентом со второго компьютера.
6. Заберите половину файлов.
7. Повторите пункты 2-6 еще раз, т.к. при 10 мегабитах на отдачу минус управляющий трафик — вам понадобится примерно двое суток чтобы передать 115 гигабайт.

Answer 13

[Sergey Lerg]

То есть торренты вообще не работают никакие на машинах на раздачу?

А так без третьего лица не обойтись. Если через скайп перебрасывать какая скорость получается?

Comments

[AlexanderG]

Раздачи работают. Через Скайп тоже очень медленно, даже медленнее Хамачи получается.

Answer 14

[Валерий Осипов]

1gb.ru
хостинг с неделей на «попробовать». Должно хватить

Answer 15

[atreen]

Если боитесь хостинга, а фтп/веб — не вариант, то можно сделать это через icq/skype.

Comments

[zoo]

как то кидал фильмы через скайп — весьма приемлемая скорость

[agmt]

2zoo: так у вас, скорее всего, удалось соединиться напрямую.

Answer 16

[betony]

Может по Skype?

Answer 17

[agmt]

Что-то меня повело ещё глубже в теорию, но всё таки. А если воспользоваться неким аналогом торрентов, только с дополнительным шифрованием, дабы файл передавался определённому списку людей (в данной конкретной задаче 1 человеку), а у всех остальных, участвующих в передаче (пиры с белым IP), данные даже не сохранялись бы на диск (получил — послал всем жаждующим и удалил из ОЗУ).

Короче говоря, передача по торрентам зашифрованного архива, только с малым потреблением ПЗУ как у передающих (не нужна шифрованная копия), так и посредников (вообще ничего не нужно).

Comments

[agmt]

Читать с полупрозрачным тегом <irony/>, но ведь так изящнее, чем выделять место на ftp, хоть и дольше.

[AlexanderG]

I2P?

[agmt]

Если I2P позволяет «хостить» без белого IP, а загружать одновременно через много посредников, то да. Разве что ли, цепочка посредников будет лишь увеличивать энтропию Вселенной.

Answer 18

[Zharskiy]

быстрее всего через торрент

рекомендую iFolder — они сейчас rusfolder.com — там можно скачивать торрент-клиентом

на некоторых других файлообменниках (Яндекс.Народ.Диск к примеру) ссылка на файл живёт до 3 суток, т.е. её тоже можно будет добавить в торрент-клиент
и т.д.

т.е. качаете и заливаете порциями, цTorrent'ом с 2..3 (как минимум) источников

ещё есть такой экстравагантный способ, как usenet (бинарные группы новостей) — там скорость может быть неограничена, используйте newspost

Answer 19

[Alexander Tugov]

Если оба ПК под виндой, то попробуйте синхронизацию файлов через Windows Live Mesh. Можно создать кучу папок по 20Гб для синхронизации, сами данные передаются напрямую между ПК, без промежуточных серверов, т.е. максимально быстро.