Отвечу сам:
Библиотека ffmpeg-python это обертка над ffmpeg и требует, что бы последняя была установлена в системе (для winows путь до ffmpeg.exe должен быть прописан в PATH). Для запуска скрипта, использующего ffmpeg-python (и pydub кстати то же), из виртуального окружения нужно либо добавить в PATH виртуального окружения путь к ffmpeg, либо положить ffmpeg.exe в venv/Scripts