Возьмите любой подходящий ARM контроллер, который справится с задачей.
Например, STM32F4xx должно хватить и под достаточно качественный захват аудио (для диктовона, конечно) - 12 бит будет лучше, чем "телефонная линия", а скорость захвата можно выбирать вплоть до 1Msps. По идее, должен успевать кодировать и в MP3, но тут уже зависит от настроек качества. Алгоритм как-никак достаточно сложный. А вот в WAV писать вполне может и F1xx, гораздо менее мощный.
Если хотите что-то более качественное - то уже внешний АЦП (например, ADS1202IPWT) от 20ksps, но лучше брать несколько больше, 16 бит. Одного канала будет достаточно.