@danildavid207

Как передать 5 ТБ данных на сервер?

Всем привет.

Возникла задача передавать большой объем данных на сервер или на устройство клиенту.

Имеем 5 ТБ данных, которые нужно будет передать в течении 12 часов. По расчетам при скорости интернета 1 Гбит, как раз так и получится. Но как я понимаю, тогда и нужно быстрое хранилище? Ведь на HDD скорость более 250 Мбит не будет? SSD только если? Или в любом случае получится тогда более 12 часов на передачу данных?

И каким образом это всё передавать? Через torrent только возможно?

Буду очень рад, если подскажете ответ.
  • Вопрос задан
  • 595 просмотров
Решения вопроса 1
Zoominger
@Zoominger
System Engineer
Через torrent только возможно?

Не обязательно, но идея интересная.
TeamViewer или AMYY Admin (или как там эта срань называется) можно попробовать, VPN ещё есть.

Жёсткий диск 1 Гбит не затащит, конечно, но RAID0-массив из 2-3 дисков 115 Мб/сек вполне.
Ответ написан
Пригласить эксперта
Ответы на вопрос 6
2ord
@2ord
продвинутый чайник
В вашем случае может проще поехать к клиенту с диском 5+ ТБ.
https://habr.com/ru/company/kingservers/blog/316660/

Добавлено
Если данные дедублицировать (ZPAQ и пр.), то неисключено, что они могут занимать существенно меньшее место и тогда эти дедублицированные данные можно отдать через FTPS/HTTP-сервер.
Ответ написан
Aetae
@Aetae
Тлен
1Гбит - это 128Мбайт.
Скорость записи среднего современного HDD 90 - 150Мбайт.
Так что даже если у клиента хороший HDD, провайдер вам честно даст весь Гбит(что совсем не факт) и на всём протяжении до клиента этот Гбит сохранится(что тоже требует проверки), а также не будет просадок за время загрузки, то вы получаете ~11 часов 30 минут.
Что уже сильно чревато, в случае любых непредвиденных обстоятельств.

Первым делом вам надо увлеличить канал, после - проверить, что он реально выдаёт заявленную скорость и не проседает со временем.
После этого уже поставить либо RAID(0 или более хитрые варианты) из HDD, либо, если деньги не вопрос - SSD.
Ответ написан
@d-stream
Готовые решения - не подаю, но...
По расчетам при скорости интернета 1 Гбит
Точнее "до 1 Гбит".
И в этом "до" кроется подвох. Не говоря уже о том, что при пристальном выяснении окажется что это максимально теоретически возможная скорость между абонентом и точкой коммутации провайдера без учета служебного трафика.
А дальше 2-5-10 Гбит канал на точку обмена трафиком между провайдерами, который делится на всех абонентов провайдера района-микрорайона-города. Плюс активные шейперы рьяных абонентов, чтобы остальные абоненты не начали обрывать телефоны техподдержки.
Аналогичная картина на втором конце (откуда отдавать). И чуть получше на транзите между провайдерами, если речь о разных городах...

Так что большую скорость получить - это все-таки "камаз дискет". Ну или арендовать синхронный канал с гарантированным гигабитом и sla, что может оказаться несколько дороже покупки камаза, дискет и топлива для камаза....
Ответ написан
@qazomardok
Как вариант - развернуть своё облако на исходной машине. Например Owncloud. А выкачать потом через клиент. Единственное что - понадобится домен, белый ip.
Нам так партнеры террабайты видео пересылают.
Ответ написан
Jump
@Jump
Системный администратор со стажем.
Ведь на HDD скорость более 250 Мбит не будет?
250мегабит это примерно 30мегабайт.

Скорость линейной записи обычного HDD примерно 150-200мегабайт в секунду - это примерно 1,2-1,6гигабита.
Скорость случайной чтении записи обычного HDD около 1Мб/с
В вашем случае линейная нагрузка, так что один диск быстрее сети.

По расчетам при скорости интернета 1 Гбит, как раз так и получится.
Интернет это глобальная (всемирная ) сеть. и у него нет скорости!
Ответ написан
@danildavid207 Автор вопроса
В общем кому интересно, реализовали всё через FTP сервер, на одном устройстве стоит сам сервер, на другом обычный FTP клиент. Есть возможность догрузки. Только пока не добились необходимой скорости, так как провайдер где-то уменьшает скорость.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы