sim3x

Если лучше поднять свои сервера, то подойдет ли для этого nginx-rtmp,

да

выдержит ли большую нагрузку?

выдержит

Слышал что он не рассчитан на крупные проекты.

бред

Если нет разраба на ерланге, то nginx-rtmp единственный вариант

Упадет
В зависимости от типа екшена в видеопотоке может упасть от уровня "ок", до уровня - "мешанина пикселей"

Конвертировать нужно только из сорса

h265 я б советовал использовать только если у клиента он внедрен в железо

https://obsproject.com/download