Когда вы создаете новый проект, например на основе symfony/framework-standard-edition, с помощью команды create-project, то это равносильно тому, что происходит git clone + установка пакетов из composer.json, затем git metadata удаляется.
Отсюда и весь "мусор".
Инициализируйте новый git репозиторий, добавляйте только необходимые файлы и коммитьте их. А "мусор" удаляйте git clean -f.