В современных микроконтроллерах чаще всего используется flash-память. Посмотрите в википедии, если интересно. Если кратко, то информация хранится в виде заряда, как в конденсаторе. Никаких батареек там нет.
Раньше использовалась память с УФ-стиранием. Также бывает EEPROM-память В этих типах памяти информация также хранится в виде заряда, но в деталях устройство этих типов памяти различно.
Также иногда используется масочное ПЗУ и другие виды ПЗУ, но это редкость.