Как правило, в /boot кроме самого ядра лежит ещё config-<версия> и System.map-<версия>. Можно удалить ещё и их.
Ещё, теоретически, фирмварь может ставиться в /lib/firmware (но может и не ставиться)
отнюдь. Оно есть "в коробке" (хотя часто его отпиливают в пакет Linux-firmware-), но в коробке с ядром блобы вполне есть. И ставится, как ни странно, командой make firmware_install (альтернативно, может быть вшитой в ядро по желанию).