Wexter

ffmpeg/wowza/nimble/flussonic/vlc/своё самописное

5000 человек в месяц? в неделю? в день? в час? одновременно?
считайте какой канал вам нужен, требуемое количество человек * мбит/с потока, для фуллхд 3мбит/с и 5000 человек одновременно вам нужен будет канал ~15гбит/с и сервер способный столько отдать. Исходя из этого выбирайте сервер(ы)/канал(ы), способные удовлетворить ваши потребности.
По софту обычно wowza/flussonic/nimble, у всех ценник на аренду примерно 3000р/месяц
Выбор качества - нужно либо транскодировать оригинальный поток, либо транслировать несколько потоков сразу, разница лишь в том кто будет кодировать его, нагрузка естественно будет выше

1) EoIP
2) GRE/EoIP + IGMP Snooping

Версия прошивки какая?
До 6.41 - прописываете на нужные порты вланы и объединяете в бридж.
Начиная с 6.41 - добавляете порты в бридж и на вкладке VLAN прописываете какие порты к какому влану относятся, так-же на вкладке Ports в свойствах можно указать дефолтный влан порта

php.net/manual/ru/sockets.examples.php

Скорее всего то что вы видите - зашифрованный https трафик