Почитайте статьи про niginx-rtmp
Когда я делал свой стриминг, я делал несколько разных способов доставки с выбором способа, в зависимости от того, что за клиент подключился.
Для андроидов, например, я слал webm.
Для маков HLS
Для писюков - тоже webm
У меня был живой поток, так что архитектура была такая - один сервер делал транскодирование во все видеоформаты и все разрешения, (порядка 12 вариантов, 6 разрешений в двух форматах), и еще три энджайникса заворачивали расклонированные по udp-multicast потоки куда надо.
Ваша проблема, скорее всего, не в формате, а в затыках дисковой подсистемы. Подумайте о кластере типа ceph.