К сожалению, большинство библиотек для работы с ffmpeg тупо запускают экзешник с параметрами, тем самым наследуя все его косяки. Так что особого выигрыша тут нет.
Гипотетически ты мог бы попытаться взять libffmpeg-c или аналог, скомпилировать под нужную тебе платформу (DLL для винды, so для линукса) и использовать модуль ctypes для работы с ней. Но это, боюсь, будет ещё сложнее.