Я имею в виду, что CMS это же не предел, верно?
Верно, как правило, это системы для "домохозяек". Более сложные системы обычно пишутся на фреймворках. Если ни один фреймворк не удовлетворяет требованиям - то с нуля.
Или это зависит от поставленной задачи
Конечно зависит! Проект определяет требования, в том числе и к инструментам, с помощью которых он будет выполнен.
Да и контролировать версии с MODX сложно ( я про git )
Чего ж вы хотите. Еще раз - это система для уровня домохозяек, часть кода хранится в БД. Всякие git, hg, svn, ... для домохозяек очень сложные, по этому не нужны.
Нужно ли изучать PHP framework?
Если планируете перебраться на бэкэнед - да. Если хотите остаться во фронте - не стоит.
Если мы разрабатываем просто сайты, можно обойтись и modx?
А вот нету "просто сайтов", есть сайты-визитки. Под них modx хватит с головой.
В каких случаях можно использовать что-то другое и какую альтернативу?
Когда вы начинаете "бороться" с cms.
Если таки соберетесь учить фреймворки, выбор (из правильных) у вас довольно скуден: Symfony, Silex.
Yii/Laravel - настоятельно НЕ рекомендую.