При клонировании скачиваются не файлы, а коммиты. А уже потом содержимое коммита распаковывается в рабочий каталог в виде файлов. Вы можете в рабочий каталог вытащить не все файлы, но при клонировании в репозиторий всё равно скачивается полное состояние проекта.
Тут неплохо бы связаться с админами репозитория и попросить вычистить мусор оттуда, пока ситуация не усугубилась.
А если вам сейчас не терпится скачать проект, то можно вытянуть отдельный коммит из старой истории, когда лишней папки там ещё не было. Если вы узнаете хэш, то скачать коммит в пустую папку можно так
git init
git fetch --depth=1 <repository_url> <commit_hash>
git checkout FETCH_HEAD
Хотя если папка там была изначально, то никак