Если хотите прям изменить ваш запушенный коммит, то:
1 - переключаетесь на вашу ветку.
2 - вносите правки (удаляете ваш файл)
3 - выполняете
git commit --amend -m "Новое сообщение, которое затрет старое сообщение предыдущего коммита."
4 - выполняете
git push --force
Но лучше сделайте дополнительный коммит, в котором удалите ненужный файл. Плохого в этом ничего нет.