Ваш телевизор и/или плеер сами сдаунмиксят в стерео при воспроизведении. Если результат не устраивает, то с помощью ключа -af в ffmpeg подбираете для себя формулу/коэффициенты для микширования.
-ac 2 — это способ по умолчанию в ffmpeg, но туда не микшируется канал саба и коэффициенты заранее заданные. Попробуйте его, если устроит, то пользуйтесь им.