Если вы не работаете с файлами cms напрямую, то, очевидно, не стоит.
Как правило, при работе с cms действует правило «не трожь ядро»: все дополнения и изменения — в теме и кастомных модулях (плагинах, компонентах). Вот с ними и работаем в git. Один проект или отдельные для темы и каждого модуля — по ситуации.
