У меня была такая же проблема, я долго мучался с перекодировкой видео и пытался найти лучший вариант без потерь качества искомого. Потом я дошел до простой команды в ffmpeg:
import os
video_path = "/..."
audio_path = "/..."
cmd = "ffmpeg -i {video_path} -i {audio_path} -c:v copy output.mp4"
os.system(cmd)
Коротко о том, что я написал, первое, ffmpeg принимает любые форматы видео и аудио, важны только кодеки. Команда "-c:v copy" означает, что энкодером для видео ряда выступит "copy", который оставит все как есть и почти не будет есть ресурсов процессора за исключением перекодировки аудио из любого кодека в ACC, чтобы .mp4 файл мог его читать. Если аудио уже в необходимом виде, просто добавьте "-c:a copy".
А про установку ffmpeg прочитаете сами.