Не хватает ширины канала для трансляции?

Question

[Хазрат Гаджикеримов]

Подняли свой сервер Nginx для HLS трансляций, сделал по этой инструкции, транслируем с OBS.
Все работает замечательно, сервер находится в Hetzner Cloud.
При тестирование стрим работает хорошо, но когда мы запускаем его для корпоративных нужд, на него может зайти до 5 тыс. пользователей, она начинает зависать, тормозить.

Начали изучать проблему, сервер достаточно мощный использовали 8core, 32gb ram, 256gb ssd, нагрузки практически не было в пике, когда трансляция зависала, нагрузка была на 1 ядро и то 30-50%

Проблема скорее всего в ширине канала, я не смог найти какая у сервера Hetzner скорость карты, скорее всего 1000мб.
Перешли на инстансы AWS, там та же история и к тому же там трафик платный и за 1 терабайт мы неплохо так им заплатили ($124), инстанс находился в Орегоне

Далее были пробы использовать не очень привлекательный для компании способы, использовать CDN для доставки контента, это дорого, тот же CloudFront выходит + стоимостью трафика очень дорого, или альтернативные CDN для видео доставки контента были дорогие

Сейчас есть мысли взять сервер с большой пропускной способностью, 100 гигабит, возможно это тоже не решение

Подскажите пожалуйста, каким способом можно решить проблему?
Каким поднять свой CDN для HLS трансляций :)

Кстати что не пробовал, сможет ли CloudFlare справится с задачей? чтоб он на своей стороне кэшировал все и не обращался за каждым фрагментом трансляции к серверу напрямую?

Comments

[sim3x]

Нужны характеристики видеопотока и арифметика

1Мбпс (ака 640р средне паршивого качества) на 5к юзеров = 5Гбпс (+накладные расходы в 10-100%)

На портах больше 1Гбпс: вы или платите за порт пару килобаксов в месяц или платите за трафик

[АртемЪ]

Для начала нужы данные о физическом расположении юзеров.
Где сидят юзеры? Равномерно по всему земному шару? Или находятся преимущественно в одном регионе?

Answer 1

[Andrey Shatokhin]

HLS трансляция - это же динамический плейлист и статичные видео чанки. Чанки вполне можно отдавать через cdn.
Если геоцдн не нужен, а нужна только ширина канала - то можите просто поднять еще несколько новых проксирующих серверов на hetzner cloud.

В идеале - вам бы kubernetus+prometheus(ну или любые их аналоги) и в них все эти проксирующие зеркала поднимать по факту нагрузки на канал. Зеркала же stateless.

Comments

[Хазрат Гаджикеримов]

Спасибо за ответ, на aws мы экспериментировали с проксированием, запустили 12 инстансов t2.micro (так как мощность не нужна была) добавили их в лоудбалансер, но получилось как то не очень стабильно, мне кажется дело в лоудбалансере, я специально в html файле выводил ip адреса машин, чтобы различать их, в итоге какие то инстансы были более свободные и на них трансляция не зависала, на других сильно тормозила

спасибо за кубентенес, почитаю

[sim3x]

Хазрат Гаджикеримов, не усложняйте себе жизнь кубернетесом

Посмотрите nginx - там есть все для балансинга
А для поднимания новых инстансов - можно написать простой скрипт

[Ингвар]

А может все дело именно в том, что сервера вне России? может быть в этом дело?

Сейчас вводят приоритет по траффику оттуда для избранных, для cdn насколько я понимаю, это раз. Второе это все эти "сормушки" или какой-нибудь маршрутизатор на роуте не справляется и загрузка его проца под 100%.

Может и правда, проксирующие сервера в России? Хорошая идея.

Это так, соображение: сорри, я совсем не в теме.

[Andrey Shatokhin]

Ингвар Воржев, проверить это легко. Если у человека >900 Мбит нагрузки на канале - значит с сервером и каналом до России все нормально.
И на практике я знаю - получить поток до 10Гбит в Россию из хетцнера - вполне возможно. Больше у меня клиенты не потребляли((.

Answer 2

[АртемЪ]

Перешли на инстансы AWS, там та же история и к тому же там трафик платный и за 1 терабайт мы неплохо так им заплатили ($124), инстанс находился в Орегоне

Если все юзеры у вас сидят в Орегоне, все должно прекрасно работать.
Другое дело когда пользователи сидят где-нибудь в России, Австралии, или Китае - там понятное дело что до Орегона будет узкий и нестабильный канал.

Каким поднять свой CDN для HLS трансляций

Да просто поставить несколько не слишком мощных серверов в местах наибольшего скопления пользователей контента, и балансер.
https://habr.com/ru/company/flashphoner/blog/340344/

Comments

[Хазрат Гаджикеримов]

Пользователи преимущественно в одном регионе, в России, спасибо за помощь, буду пробывать

[АртемЪ]

Хазрат Гаджикеримов, Ну если пользователи в России почему вы использовали сервера Хецнета, и о ужас - инстанс в Орегоне?
До хецнера довольно широкий канал - мы все же на одном континенте, там просто пинг повыше. А вот Орегон - это другой континент, туда трафика много не прогонишь, канал довольно узкий.

Ставьте сервера в местных ДЦ. Например пару серверов в Москве и по одному в Сибири и на ДВ.

[Хазрат Гаджикеримов]

АртемЪ, я просто объективно не вижу удобных альтернатив aws в россии, есть vscale, понравился, скорее всего там и буду поднимать

[АртемЪ]

Хазрат Гаджикеримов, Не спорю, aws удобен в развертывании и альтернативу ему в России найти не просто. Но если основная аудитория тут, может стоит пренебречь удобством и сделать на том что есть?
Вполне возможно что в Росссии вам банально хватит одного сервера, в каком нибудь ДЦ подключенном к крупному пиринговому узлу и просто не придется городить огород. И качество будет лучше.

Answer 3

[rPman]

Как представлю этот кошмар, обеспечение стриминга 5к пользователей в одно и то же время, сразу кошельку становится грустно грустно.

Ладно если бы речь шла о 2010г. и ранее, тогда действительно был единственный вариант заливать сетевые каналы баблом, но теперь у нас есть https://webtorrent.io на базе webrtc и p2p, попробуйте, конечно, возможно технология все еще сыровата, но у вас корпоративные клиенты, где сети не такие сломанные как мобильные (все за nat и/или p2p трафик так или иначе ограничивается) и главное, потратьте эти деньги на допиливание ее, в результате выиграют все а не только амазон (поддержка таких монополистов деньгой фактически преступление для человечества).