Moskus вам правильно намекнул на перекодировку.
Вариантов борьбы немного: использовать железячное кодирование (например Intel QSV, который доступен с FFmpeg 2.7.1 или nVidia NVENC который появился раньше), что несколько понизит загрузку; смириться или использовать ферму для кодирования (кодировать стрим на других машинах и делать рестрим).
Оптимально сделать микс из железячного кодирования и распределения нагрузки по ферме.