Проще всего убрать директорию из индекса и на её месте инициализировать подмодуль. Как это работает с подподподпапками я не знаю, но может сработать прямое редактирование файла модулей .gitmodules:
[submodule "sub-repo"]
path = project/code/vendor/sub-repo
url = https://project/code/vendor/sub-repo
git submodule sync
Да, потом можно будет
тягать всё сразу и даже в несколько потоков.