Заниматься стоит тем, к чему больше лежит душа.
Задайте себе вопрос, что вас больше интересует?:
/Интерфейсы/Дизайн/Верстка и т.д.
или
/Сервер/Протоколы/Базы Данных и т.д.
Будет неправильным сравнивать оба направления по сложности.
Помнить надо одно. Сложно будет там, где неинтересно.