Если flash, то медиа-сервер не обязателен. Внутри флеша сигнал из микрофона хранится в битовом массиве. Дальше ищете подходящие библиотеки кодирования. Навскидку гугл выдал:
blog.debit.nl/2009/03/mp3-encoder-in-flash-with-alchemy/
github.com/kikko/Shine-MP3-Encoder-on-AS3-Alchemy
К слову, можно обойтись и без кодирования, или кодировать на стороне сервера.
В ньюансах не подскажу, т.к. с микрофоном работать не приходилось, но в целом где-то так.
