Удалять все из know_host не хочу.
Ну так удали запись только для указанного хоста
ssh-keygen -R <тут вписать имя хоста как ты его пишешь, когда к нему коннектишься>
нужно понимать, что в .known_hosts ключи хранятся не по их названию, а по названию хоста. И если я к одному и томуже хосту коннекчусь то по имени хоста то по айпишнику - будет две записи, обе надо удалить и при первом коннекте оно предложит добавить новые ключи хоста.