Все индивидуально и определяется каждым человеком по собственным ощущениям. Не сказать, чтобы современный бекенд был сильно сложнее современного фронтенда. Он просто другой. Со своими ньюансами.
Должна быть личная химия и интерес.
В итоге надо пробовать и решать для себя. В конце концов, определенный опыт бекенда не будет бесполезным, расширив кругозор и повысив конкуретноспособность на рынке.