Как передать 5 ТБ данных на сервер?

Question

[danildavid207]

Всем привет.

Возникла задача передавать большой объем данных на сервер или на устройство клиенту.

Имеем 5 ТБ данных, которые нужно будет передать в течении 12 часов. По расчетам при скорости интернета 1 Гбит, как раз так и получится. Но как я понимаю, тогда и нужно быстрое хранилище? Ведь на HDD скорость более 250 Мбит не будет? SSD только если? Или в любом случае получится тогда более 12 часов на передачу данных?

И каким образом это всё передавать? Через torrent только возможно?

Буду очень рад, если подскажете ответ.

Comments

[d'Ivan]

А клиент географически далеко?

[danildavid207]

Роман Мирр, 2000 км.

[Михаил]

На самолете отправить диск, будет быстрее всего :)

Answer 1

[Рональд Макдональд]

Через torrent только возможно?

Не обязательно, но идея интересная.
TeamViewer или AMYY Admin (или как там эта срань называется) можно попробовать, VPN ещё есть.

Жёсткий диск 1 Гбит не затащит, конечно, но RAID0-массив из 2-3 дисков 115 Мб/сек вполне.

Comments

[danildavid207]

Но в таком случае всё к ПК ведь не получится подключить? Только использование NAS? И при 115 МБ ведь тоже в 12 часов никак не уложиться.
А TeamViewer разве сможет принимать 1Гбит в секунду? Или это зависит от устройства получателя?

[Рональд Макдональд]

danildavid207, при 115 как раз уложитесь, но тютелька-в-тютельку.
Лучше всего NAS, да, и роутер с поддержкой 1 Гбит.

[danildavid207]

Рональд Макдональд, роутер с поддержкой 1 Гбит это понятно, а с NAS можно выгружать прям куда-то на сервер? Или должны будут выкачивать у меня?

[danildavid207]

Рональд Макдональд, и я чуть не шарю, но 115МБ*3 получается 345МБ? Можно чуть разъяснить этот момент, то я уже путаюсь в любой информации)))

[Рональд Макдональд]

danildavid207, хорошая дисковая подсистема должна быть и у вас, и у принимающей стороны.
Три диска с 100 Мб записью не дадут суммарно 300 Мб/сек, но где-то 230-250 Точно будет.

[danildavid207]

Рональд Макдональд, а можно ли тогда использовать просто 2 SSD диска. Сливая с них инфу? Например два диска по два ТБ.

[Рональд Макдональд]

danildavid207, да. Не забывайте, что данные можно поделить на части.

[danildavid207]

Рональд Макдональд, файл будет в шифрованном виде, поделить его не получится, поэтому остается вариант пробовать загружать через torrent.

[Рональд Макдональд]

danildavid207, почему не получится? Пакуете в WinRAR или 7zip, они умеют в разделение.

Answer 2

[d'Ivan]

В вашем случае может проще поехать к клиенту с диском 5+ ТБ.
https://habr.com/ru/company/kingservers/blog/316660/

Добавлено
Если данные дедублицировать (ZPAQ и пр.), то неисключено, что они могут занимать существенно меньшее место и тогда эти дедублицированные данные можно отдать через FTPS/HTTP-сервер.

Comments

[danildavid207]

К сожалению не вариант.

Answer 3

[Aetae]

1Гбит - это 128Мбайт.
Скорость записи среднего современного HDD 90 - 150Мбайт.
Так что даже если у клиента хороший HDD, провайдер вам честно даст весь Гбит(что совсем не факт) и на всём протяжении до клиента этот Гбит сохранится(что тоже требует проверки), а также не будет просадок за время загрузки, то вы получаете ~11 часов 30 минут.
Что уже сильно чревато, в случае любых непредвиденных обстоятельств.

Первым делом вам надо увлеличить канал, после - проверить, что он реально выдаёт заявленную скорость и не проседает со временем.
После этого уже поставить либо RAID(0 или более хитрые варианты) из HDD, либо, если деньги не вопрос - SSD.

Comments

[danildavid207]

Благодаря Вам я разобрался, и понял. То я сначала запутался в МБ и Мб. Понятно что может быть по времени дольше, просядет интернет или еще что то. Но приблизительно 10-15 часов хотя бы.

Answer 4

[d-stream]

По расчетам при скорости интернета 1 Гбит

Точнее "до 1 Гбит".
И в этом "до" кроется подвох. Не говоря уже о том, что при пристальном выяснении окажется что это максимально теоретически возможная скорость между абонентом и точкой коммутации провайдера без учета служебного трафика.
А дальше 2-5-10 Гбит канал на точку обмена трафиком между провайдерами, который делится на всех абонентов провайдера района-микрорайона-города. Плюс активные шейперы рьяных абонентов, чтобы остальные абоненты не начали обрывать телефоны техподдержки.
Аналогичная картина на втором конце (откуда отдавать). И чуть получше на транзите между провайдерами, если речь о разных городах...

Так что большую скорость получить - это все-таки "камаз дискет". Ну или арендовать синхронный канал с гарантированным гигабитом и sla, что может оказаться несколько дороже покупки камаза, дискет и топлива для камаза....

Comments

[danildavid207]

Каждый день будет по 5ТБ, и проще пробовать их как то выгружать, даже если на это будет уходить много времени. Чем купить много жестких дисков, и отвозить их за 2000км.

[d-stream]

danildavid207, Пробовать-то можно. Можно даже попробовать дома в локальной сети между двумя компьютерами прокачать их.

Answer 5

[qazomardok]

Как вариант - развернуть своё облако на исходной машине. Например Owncloud. А выкачать потом через клиент. Единственное что - понадобится домен, белый ip.
Нам так партнеры террабайты видео пересылают.

Comments

[danildavid207]

В таком случае можно сделать и через torrent все, ведь в нем будет догрузка файлов, а файл у меня один объемом в 5ТБ.

Answer 6

[АртемЪ]

Ведь на HDD скорость более 250 Мбит не будет?

250мегабит это примерно 30мегабайт.

Скорость линейной записи обычного HDD примерно 150-200мегабайт в секунду - это примерно 1,2-1,6гигабита.
Скорость случайной чтении записи обычного HDD около 1Мб/с
В вашем случае линейная нагрузка, так что один диск быстрее сети.

По расчетам при скорости интернета 1 Гбит, как раз так и получится.

Интернет это глобальная (всемирная ) сеть. и у него нет скорости!

Comments

[danildavid207]

Да была моя ошибка, что я перепутал МБ с Мбит, у диска как раз до 250 МБ и скорость интернета у меня до 125 МБ, как раз и получится занят весь канал.

[АртемЪ]

danildavid207, Да, если данные идут одним потоком - диск справляется, и загружен не на 100%
Но надо учитывать тот факт что это для линейной записи.
Если запись не линейная, а случайная - например программа создает очень много потоков, или с диском в этот момент еще кто-то работает то скорость диска будет уменьшатся.
Если для линейной записи скорость будет 150-200мегабайт/с, то для случайной мелкими блоками может опустится до 1мегабайта/с

Далее - по поводу канала.
Если провайдер обещает вам канал 1Гб/с - это значит что максимальная скорость 1Гб/с а реальная будет меньше, причем иногда очень значительно.
Так же надо учитывать что канал обычно не симметричный и отдача зачастую значительно меньше загрузки.

[danildavid207]

АртемЪ, Диск просто будет подключен к устройству и с него будет выгружаться на другое устройство. Работать в этот момент с этим диском не будут. Поэтому думаю получится.

Answer 7

[danildavid207]

В общем кому интересно, реализовали всё через FTP сервер, на одном устройстве стоит сам сервер, на другом обычный FTP клиент. Есть возможность догрузки. Только пока не добились необходимой скорости, так как провайдер где-то уменьшает скорость.

Comments

[d'Ivan]

d-stream уже растолковал в ответе какой расклад. Так что всё получилось ожидаемо.