С Gentoo еще не наигрались?
-march=native или кодового слова под ваш процессор вполне достаточно для оптимизации. А вы ядро под свой процессор собираете или genkernel?
Вот неделю где то перелез с Дебиана) Захотелось чего-то большего, за 7 лет с Линуксом Генту не пробовал раньше. Пока полет нормальный. Ядро собирал под свой проц + лишнее повыкидывал. Собирал с помощью cl-kernel (утилита из оверлея Calculate) c -menuconfig: что знаю вручную выбрал — где неуверен оставил как было.