Если хотите разобраться, что к чему, что от чего зависит и вообще въехать в технологии, которые зависят от поддержки ядра — то стоит. Если вы хотите просто иметь десктоп с линуксом — то нет.
В общем, выбор основывается не на повышении производительности компьютера, а на задачах, именно решающихся сборкой ядра.
Кстати говоря, если вам скажут, что повышение производительности — миф, не верьте. Прямо сейчас наблюдаю два одинаковых компа (т.е. одинаковая память, материнки, процы). На них запустили один и тот же бинарник minerd. На одном биткойны майнятся на 10% быстрее — это Gentoo, которую конфигурировал и собирал я руками. Второй — debian.