Можно AVR с аппаратным USB, можно STM32? там USB есть везде, если правильно помню. Добавьте чип памяти, и напишите ПО для микроконтроллера, реализующее mass storage device. Если стирание нужно без втыкания в USB, добавьте в схему аккумулятор и контроллер заряда.
