pip will fetch and install PyAudio wheels (prepackaged binaries). Currently, there are wheels compatible with the official distributions of Python 2.7, 3.4, 3.5, and 3.6. For those versions, both 32-bit and 64-bit wheels are available.
Ну можно создать отдельный домен приложения и грузить туда сборки через Assembly.LoadFromЭто что-то сложновато для меня.
+ пригодится подвесить на событие CurrentAppDomain.AssemblyResolve свой обработчик, который будет подсовывать нужное
Вопрос только - зачем это надо для фрейвочных сборок? Попытаться запустить программу без установленного фреймворка?)