Чисто теоретически можно добавить все файлы джумлы. Ничего особо страшного не будет. Огромная обычно папка с картинками. В гитигнор помещают её, всякие логи/кэши, awstats и т.д. Просто при обновлении Joomla вам придется её пушить в репозиторий и синхронизировать с локальной веткой.
А так выше правильно написали: ядро не трожь. Свои лейауты могут быть в папке с модулями и плагинами ну и естественно в шаблонах.
