Можно конечно просто убрать их отслеживание через gitignore
Нет нельзя. Игнор действует только на ещё неотслеживаемые файлы. Если же файлы уже в репозитории, то они будут отслеживаться пока вы из оттуда не удалите.
Как сделать это, не удаляя репозиторий на удаленном сервере?
Если вам так важно именно «неудаление» то совет Виктора подойдет. Переместите .git в подкаталог src/ и гит будет считать что все файлы из корны проекта исчезли а содержимое каталога src переместилось в корень. Останется только закоммитить эти перемещения и удаления. Все старые файлы при этом останутся в истории проекта.
Если вам не важна история, то проще удалить репозиторий и создать новый в src. Так вы избавитесь от мусора.
Есть более красивое
решение, когда сохранится вся история проекта, но выглядеть это будет как если бы вы изначально создали репо в каталоге src. Но по факту, тоже будет создан новый репозиторий.