ffmpeg пересжимает то, что ему не запрещено пересжимать в явном виде, а также использует сжатие по умолчанию для того, что пересжимает. По этой причине, лучше всего, во-первых, явно указать ему, чтобы он не пересжимал звук, а во-вторых, выбрать подходящий для вашей задачи кодек и уровень сжатия для видео, потому что он его после ресайза все равно обязан будет перекодировать.