Как вариант можно сделать git reset до "чистого" чистого коммита, так чтобы файлы сами не откатились (там опцию надо указать то ли --soft то ли без опции, но точно не --hard), и снова сделать git add уже только нужных файлов.
Но тогда у вас все ваши коммиты превратятся в один коммит.
Возможно через git rebase как-то можно, так чтобы и коммиты сохранить и лишнее из них убрать, но это не точно.