Автоматом убрать не получится.
Файлы добавленные в .gitignore не будут автоматически коммититься, но если они уже существуют в репозитории, или вы явно добавите какой-либо подобный файл, то сами по себе они удалятся не будут, и их изменения будут автоматически попадать в коммит.
Поэтому нужно и добавить в .gitignore и явно удалить их из репо.