Возможно, вместо решения проблем с nginx, стоит использовать возможности процессора: Intel со встроенной видеокартой, например, отлично ускоряется через VAAPI.
Самая тупая история, которая может быть, это то, что nginx запускает несколько процессов ffmpeg. Ну тут уж вам разбираться.