Перекомпиляция ядра ради «уменьшается размер, быстрее загружается система» была актуальна, когда 64 мегабайта оперативки казались невероятным счастьем, считали каждый байт, уменьшения ядра с условных 6 до 3 мегабайт казалось чудом. Сейчас это лишено смысла.
Перекомпиляция может потребоавться, как уже сказали, для поддержки редкого оборудования, да и то, во многих случаях можно (и нужно) обойтись модулями.