Гит это не хранилище файлов, мы там отслеживаем полное состояние проекта.
И в разных ветках хранится всё тот же полный проект, но разные состояния всех его файлов.
Теоретически отдельная ветка может только некоторые файлы, но тогда остальные файлы будут удаляться из рабочего каталога при переключении на эту ветку. Как будто вы переключились на совсем другой проект.
И сайт будет падать. Надеюсь вы загоняете под версионный контроль не боевой сервер?
Если файлы модулей перемешаны, то и отслеживайте их в одном репозитории и не усложняйте.
Просто не смешивайте правки разных модулей в одних и тех же коммитах.
И в сообщениях коммитов помечайте название модуля, тогда вы сможете фильтровать историю и видеть изменения только конкретного модуля.
