а на фронтенде порой сидишь и мучаешься много часов с каким-нибудь кастомным скроллом или какой-то другой херней
Это не "херня". Быстрый, удобный, понятный интерфейс - это серьёзная наука, которую лишь немногие из фронтендщиков сумели постичь.
И на бэкэнде тоже придётся мучиться, только с другими вещами: оптимизацией БД, улучшением производительности, отказоустойчивой кластеризацией.
Грамотный специалист найдёт работу на фронтэнде, бэкэнде, системном программировании, нейросетях, робототехнике... где угодно.