также необходимо удалить/отключить все лишние сервисы/логгирование для того, чтобы сохранить работоспособность и не убить USB флешку.
Логирование отключать не стоит. Можно сделать диск в памяти и смонтировать его в /var/log, тогда флэшка останется не тронутой. Разберитесь с настройками syslogd и уменьшите до минимума потребляемое логами дисковое пространство.
Так же, видимо, нужно поступить и с /tmp и возможно с чем-нибудь еще.
Размер дисков в памяти выясните опытным путем.
Из того что можно отключить - GUI однозначно, это значительно облегчит дистрибутив.