Если вы не запушили изменения, но хотите из последнего коммита выкинуть некоторые файлы, то можете это сделать командой
git rm --cached [filename]
При этом файл не будет удалён из директории, а только помечен на удаление (без --cached удалит и сам файл, если он не нужен), затем сделайте
git commit --amend
В результате вместо нового коммита это удаление применится к старому коммиту и аннулирует предыдущее добавление этого файла, по итогу в него не попадёт файл.