При конвертации видео, аудио-поток вообще не трогается, а остаётся тем же, максимум ремуксится. Значит вы неверный параметр передаёте.
ощущение
какое может быть ощущение, если у вас под рукой ffmpeg, который всю досконально информацию по потоку даст вместо ваших "ощущений"? Сравните характеристики потока до и после транскодирования и избавитесь от сомнительных ощущений.
Банальный параметр
-codec:a copy должен помочь в большинстве случаев.
