Go или Erlang для стриминг сервера?

Question

[mlwrm]

Сейчас для live видео стриминга используется nginx + rtmp , пока это решение работает из коробки. В будущих планах написать свое решение. Выбор стоит между Го и Эрлангом. Насколько мне известно, twitch сейчас работает на Го, в то же время есть flussonic написаный на эрланге, который также себя превосходно зарекомендовал.
Если кто-то работал с лайв видео стримингом, что лучше выбрать, для написания кастомного решения?

Answer 1

[sim3x]

Сам стриминг у тебя будет на плюсах (если у тебя скиловая команда с кучей синьйоров) или ерланге - остальные ЯП не так хороши при работе с сетью и потоками

Обвязку пиши - на чем хочешь

Using pre-release versions of Go 1.2, it was able to serve over 500,000 concurrent users from each physical host without special tuning

тюненный ерланг там бы сервил 10М, но твитч не умеет писать на нем

https://blog.twitch.tv/gos-march-to-low-latency-gc...
В статье описано почему для обвязки (сайта, чата, етц) нужно использовать ерланг, тк он не имеет описанных проблем

Comments

[mlwrm]

Спасибо, еще вопрос. sim3x за счет чего динамический язык, как эрланг может тягаться с плюсами и почему лучше го?

[sim3x]

mlwrm:
За счет изолированости каждого процесса и обвязки ЯП заточенного на сетевое взаимодействие. На плюсах придется самому писать ерланг с 0

[sim3x]

mlwrm: ну и напоследок
Все вышесказанное качается масштабов твича

Вначале можно и нужно пилить на точ чем умеешь быстро писать + ffmpeg + nginx-rtmp для самого видео стриминга

[malbaron]

Что? Пререлиз 1.2?

Using pre-release versions of Go 1.2

Сейчас уже 1.7, скоро будет 1.8 - а вы все еще ссылаетесь на замеры пятилетней давности?
Производительность с тех пор поднимали несколько раз. И существенно.

[sim3x]

malbaron: и в какой версии GC убрали?

[malbaron]

sim3x:
1) знатно пофиксили GC уже пару версий тому назад.
на сегодня - он самый лучший GC, что вообще существует.

2) у рекомендуемого вами Erlang нет GC?
у Java нет GC? а ведь на нем пишут мощнейшее энтерпрайзное с дичайшими нагрузками.

3) на Go писали держащие высочайшие нагрузки Dropbox и Cloudflare.

[sim3x]

malbaron:
dropbox
> Dropbox rewrote Magic Pocket in Golang, and then rewrote it again in Rust, to fit on their custom built machines.
https://news.ycombinator.com/item?id=11283758

Cloudflare после 2012 не писали ничего про голанг

В ерланге памать раздельная для каждого процесса, что сильно упрощает гц

[malbaron]

sim3x:
Про Dropbox:
https://youtu.be/JOx9enktnUM
https://2016.codefest.ru/lecture/1068
То, о чем вы говорите - это такой малююююсенький фрагментик на Rust

Про Cloudflare:
Там полно golang
golangshow.com/episode/2015/10-15-023

[sim3x]

malbaron:
Размер кода не имеет значения - имеет значение сам факт, что голанг не для всего
В презенташке больше питона чем го.

Сори, но русскоязычные ресурсы не воспринимаю, как источник достоверной информации

Все же будет интересно посмотреть/почитать, как клаудфлеер справляется с гц

[rustler2000]

sim3x: не убрали но субмилисекундные паузу на 19гигах хипа получили в 1.8рц

[malbaron]

sim3x:

Размер кода не имеет значения - имеет значение сам факт, что голанг не для всего

Я не утверждал, что для всего.
Но для обсуждаемой задачи - вполне.

https://habrahabr.ru/post/321274/
Большую часть самых ресурсозатратных операций у Dropbox - выполняет именно golang.

[sim3x]

malbaron: если подходит, то значит уже есть публичный код, который реализует данный функционал

[sim3x]

malbaron: значит не составит труда показать на него линки

[sim3x]

malbaron: значит его нет
ок

[malbaron]

sim3x: У автора темы вопрос о выборе языка. Язык это инструмент для создания.
Если уже есть готовый сервер - он может быть хоть на Яве. То, что он готовый и открытый - перевешивает стоимость разработки

Answer 2

[xuBpaloLim]

Зависит только от того, что лично ты знаешь лучше.
Ну или какое готовое решение ты возьмешь за основу.
Один из российских недавно возникших проектов использует Erlang, только потому, что в в начале-начал его основателю попался код стрим-сервера на Erlang. За много лет они его перепилили, конечно.

Answer 3

[rustler2000]

Комкаст переводит хардварные стримеры на написанные на golang.

Якобы ```остальные ЯП не так хороши при работе с сетью и потоками``` миф - если глянуть потроха го то это чтото между С и С++ (представте себе что вы можете запретить работать с raw pointers в С++, обязать использовать shared_ptr с унифицированным доступом(к примеру на шаблонах наковыряли), иметь иммутабельный std::string и легкие треды).
Интерфейсы так практически С++ с rtti и vtable - теже два указателя.
Новый сборщик мусора так ракета просто.

Comments

[xuBpaloLim]

Комкаст переводит хардварные стримеры на написанные на golang.

Не потому что Golang лучше.
А потому что с ним будет гибче и можно использовать универсальное дешевое железо.
А заказные стримеры на железе - очень дорогое удовольствие.

[rustler2000]

xuBpaloLim, в разрезе go vs erlang данный коментарий оффтопик, но уж если на то пошло - то железячные стримеры не в разы дороже telecom grade серверов.

[xuBpaloLim]

rustler2000,
вы точно про то железо говорите?
если это просто железка с Linux внутри, то это не совсем "железный" вариант.

Я то про заказные микросхемы типа ASIC

Перепилить хоть с нуля Go-код куда как быстрее и дешевле, чем запилить новый ASIC

[rustler2000]

xuBpaloLim, и, очевидно, вы готовы назвать один (а то и более) "железячный стример" на "заказных микросхемах ASIC", ну, или на худой конец, производителя.

Есть серьезные сомнения, о знаниях соотношения силикон вендоров против "девайс вендоров" и объемы головняка чипы vs софт