В индекс добавляются не файлы, а их изменения. Удаление файла это тоже изменение. Мы обязаны сообщить гиту об этих изменениях, если хотим, чтобы он знал о них.
Как уже сказали, одного и того же результата можно достигнуть разными способами.
Вы не обязаны использовать
git rm, он просто делает сразу два действия
rm file.txt
git add file.txt
На практике мы скорее используем
git rm в ситуациях, когда хотим удалить файл из репозитория, но оставить в рабочем каталоге.
git rm --cached file.txt
git commit