git не может работать в пределах выделенных папок, он может работать только с целым репозиторием. Хотя бы по той причине, что служебная папка .git расположена в корне репозитория.
Вам нужно либо выделять ваш код в отдельные модули, и давать доступ на модули.
Либо если read-only доступ ко всему проекту не вредит, то повесить гит за каким-нить bitbucket/stash/gerrit, на котором уже настроить права доступа на бренчи и папки.
