Можете собрать rootfs через buildroot, используя uclibc, ну и ядро, buildroot это все умеет. Можете взять openwrt, но он больше для роутеров как-то, но пакетов там много. Можете archlinux или gentoo попробовать, но сложно будет это упаковать меньше, чем в 100мб.