Егор

Когда вы создаете новый проект, например на основе symfony/framework-standard-edition, с помощью команды create-project, то это равносильно тому, что происходит git clone + установка пакетов из composer.json, затем git metadata удаляется.
Отсюда и весь "мусор".
Инициализируйте новый git репозиторий, добавляйте только необходимые файлы и коммитьте их. А "мусор" удаляйте git clean -f.

Так чтобы установить новый пакет нужно либо composer require vendor/package, либо в composer.json вручную добавить его и затем composer update vendor/package. А так composerпросто читает зависимости из composer.lock файла