Java Backend Developer'ом можно. Основы JS знать нужно, не факт, что вы будете на нем писать, но иметь представление как там на клиенте всё это дело работает надо бы. Из фреймворков вам надо тоже иметь просто представление об их архитектуре, кто как с данными работает, которые вы фронту отдаете. Знать что такое Ajax, Json, REST, WebSocket, т.е. взаимодействие с фронтом.
Можно писать себе всякие web-cервисы, SOAP юзать и слыхом не слыхивать о фронте, занимаясь интеграцией разных систем и утонуть в xml.
Ваш вопрос о противостоянии специализация vs универсальность. И там есть плюсы и востребованность на рынке, и там. Всё зависит от масштабов компании и задач, которые перед ней стоят. В больших компаниях, где много разработчиков, большие нагрузки, сложные задачи, интеграция между системами, то там возможно бекендер и фронтендер - это разные люди с разными сферами ответственности. Небольшим конторам с небольшими задачами дешевле иметь фулстек разработчиков.
Если сильно не нравится фронт, то становитесь спецом по беку. Именно спецом, который может решать узкие сложные задачи, неподвластные большинству фулстекеров. Например, такие сложные вещи как низкоуровневая оптимизация.
Неплохо было бы ещё (раз уж бекенд онли) разобраться с работой, конфигурированием рабочей среды - web-серверов, особенностями баз данных.