Как синхронизировать загрузку и чтения файлов с разных серверов?

Question

[BonBon Slick]

Есть условно 2 одинаковых сервера, любые, пускай будет к примеру Dell PowerEdge R510.

Как их синхронизировать, устанвоить общую ОС на оба сервера и все их HDD, не лепить же на каждый SATA/SAS сервера свою ОС?
Следовательно при загрузке файлов оно будет загружать фал на тот сервер где есть место и чтение будет происходить файла с того сервера.
Еще пример загрузка видео на ютуб.

Не шарю вообще, для меня существует пока только монолит, то есть 1 сервер, на нем 1 ХДД где сайт, БД и файлы.

Просто как-то дороговато платить 500 эвро в месяц за 3 ТБ места. И думал может можно дома попробовать развернуть.

З.Ы. я не плачу столько, просто смотрел цены на перед для расчета рентабельности :3

Answer 1

[dimonchik2013]

Riak

https://habr.com/ru/post/513584/

Comments

[BonBon Slick]

Спасибо, прочитал, не понял как оно работает и как синхронить 2 сервера, зачем мне AWS и прочее? Не уверен что ето то что надо.

[dimonchik2013]

да, сорри, я померял не тем масштабом

у тебя вообще примитив: делаешь рулетку на аплоад да и все

[BonBon Slick]

dimonchik2013, что за рулектку? Можно подробнее пожалуйста?
Из другого ответа я понял что 1 серв для сайта с БД и другие для хранения файлов. Как их синхронизировать, выходит что уже 3 сервера. Файл прилетает на сервер где сайт с API, и оттуда нам надо определить где есть место и куда закачивать файл, на какой серв.
Естественно мне интересно было, можно ли поставить одну общуу ОС на 2 сервера для хранения файлов, не лепить же новую ОС на каждый серв да? То что ОС будет отличаться с набором пакетов и конфигов где лежит сайт и БД то понятно. Разделять еще и БД на другой серв накладнее и размеры БД маленькие, и 100 000 записей нет.

[dimonchik2013]

да ну что за идиотизм с 1й ос, где вы такое видели?
1 фс еще как-то есть, остальное - извращения - надстройки

бд если там 100000 всего держишь две - мастер слейв, для извращенцев - мастер мастер
рулетишь лоад балансером или кодом морды, получая обратку по месту/инодам от файловых серверов / БД
отдаешь с того, на который загрузил - опять же, если ссылки непрямые - участвует морда / БД

что в схеме непонятно? посмотри на турбобит / rapidgator

[BonBon Slick]

dimonchik2013, мало что понял, ето надо брать и пробовать что бы задавать конкретные вопросы. Но я примерно понял что ждет, спасибо.

[dimonchik2013]

смоделируй на VPSках

но по турбобиту и так можно рассмотреть как и что он делает

[BonBon Slick]

dimonchik2013, оно и так работает на vps хостинге, 2 разных серва. 1 под сайт и БД, другой под хранилище. Но вот незадача, хранилище под 3 ТБ макс, пологаю ето все слоты под SSD. А потом другой серв докупать или что кастомной просить у суппорта сервиса. AbeloHost

Storage 3200GB Gold
+ SSD Cache
€576.99
64GB RAM Memory
Xeon Gold 5218 2.30GHz (13 Core)
3200GB SAS (RAID 10)
1 IP Address (2 extra)
Unmetered Traffic / 100Mbps guaranteed

Для фото или SPA сойдет, а подхранение и стриммминг видео надо минимум 15 ТБ по моим подсчетам. 20 000 примерно серий на 3 ТБ. Всего около 100 000 серий. Платить 2500 евро за 5 хранилищ на некомерческом проекте, безумие. Другое дело купить серва, поставить и настроить. Платить только за инет и обновлять, менять SSD раз в 3-4 года.

[dimonchik2013]

€576.99

конский ценник

разве что адаkn какой DMCA протектед, но и то

[BonBon Slick]

dimonchik2013, угу, но если контент пиратский то или свой серв или тип такого, которым плевать на копирайты

Answer 2

[rPman]

Непонятна задача, нужен одновременный доступ к данным или по очереди? Первое накладывает 100500 ограничений и по факту все сходится к выделению сервера NAS.

Если у вас linux то вариантов у вас огромное количество, кластерная файловая система DRBD например. К сожалению windows ограничивает решения очень маленьким списком проприетарных за большие деньги. Иногда можно спасти ситуацию виртуализацией (хост linux, гость windows).

Вам нужно сетевое хранилище NAS, например iscsi, которое будут использовать ваши сервера, например загрузка по сети (есть и win и linux).

С некоторой степенью красноглазия можно сделать следующее - выбираете один сервер для хранения данных разделов, когда система запускается с него - работает с данными диска напрямую, когда хотите запустить на втором, на первом запускаете Linux сервер, который по iscsi раздает этот же диск второму.

Comments

[BonBon Slick]

Попробую обьяснить.
Юзер загружает видео. Оно обрабатывается. Потом юзеры могут его смотреть.
На стороне разработчика, стоит 2 серверные ячейки, пример какие есть название в описании вопроса.
Вот представляем что я купил и поставил 8-12 HDD дисков и 2 сервера. Мне нужна 1 ОС, общая память между ними. Что бы я мог просто сказать, сохранить видео файл, а система уже сама выберет сервер на котором есть свободная память.

Или как вы себе представляете загрузку видео, на том же ютуб. Как на серверной части идет синхронизация куда записывать файл и как считывать?

Вряд ли она устанавливают на каждый HDD свою ОС и потом какими то трюками проходят по каждому сервер и по каждому HDD каждого сервера проверяя есть ли там место для записи. Ссылки так же на файл будут разными, чего хотелось бы избежать.
file-storage-server-link.com должна быть одинакова для всех серверов. А не так что я захожу на сайт и у них тянет css с одного домена, js с другого, картинки с одного, видео с другого домена, сервера, ip. У меня стоит блокировка таких сайтов по дефолту.

[rPman]

Боже мой, у вас задача совсем иного уровня, чем нужно требовать от операционной системы. Сервера у вас и сервера в интернете это не связанные вещи, т.е. задачи которые приходят на www.myserver.com могут обрабатываться сразу целой кучей машин, в вашей сети, недоступных снаружи (кроме средств администрирования).

Первое, на серверах по любому должна быть установлена какая-то операционная система.

Второе, рекомендуемая практика разделять задачи хранения и задачи обработки, т.е. диски должны стоять в NAS, который только хранением и занимается. Это не обязательно конечно но сильно облегчает администрирование и уменьшает проблемы в момент поломок или ошибок.

Третье, выбор где хранить файлы должен заниматься бакенд вашего сервиса (можно выделить отдельную задачу балансировщик, который следит за метриками нагрузки и свободным местом и принимает решение куда складывать файл, само собой как то нужно где то пометить, куда файл положили, хоть и не обязательно но позволит не нагружать машины кластера проверками - а не у вас ли лежит искомый файл)

Само собой можно конечно дать каждой машине по адресу и даже домену и зарулить управление нагрузкой через выдачу правильного адреса при запросах чтения, так делают если машины разнесены географически.

[BonBon Slick]

rPman, да. Сейчас на хосте у меня раздельно 1 для сайта с БД и другой для хранения файлов. Я планирую после НГ купить 2 серва один для хранения и другой для сайта и буду учится, там уже возникнут более конкретные вопросы. Пока в вауукуме узнавал, спасибо за советы.

Answer 3

[Дмитрий]

Это называется кластерная файловая система и поддерживать её работу самому может стоить не дешевле, чем вы вы платите сейчас.

Comments

[BonBon Slick]

Что именно? Ну енергия, 2 сервера думаю не так много есть будут. Договориться с провайдером или просто кинуть 5 кабелей на инет, будет 500 мбит скорость в сек, более чем достаточно. Вот уже расход 50 долларов инет и 10 долларов свет. Мы получаем за 60 долларов то что у хостинг провайдера стоит 500 эвро.

[BonBon Slick]

По моим подсчетам дешевле. Надо будет правда уплатить первый раз 1-2 000$ за покупку + время на настройку, однако через 2+ месяцев оно окупит себя. Если вы говорите что не окупит, приведите пожаулйста свои расчеты.