Удалять все из know_host не хочу
Ничего удалять и не надо - просто пересоздайте ключи на сервере, тогда и ругани никакой не будет. В дебианоподобных системах это делается как-то так:
rm /etc/ssh/ssh_host_* ; dpkg-reconfigure openssh-server ; systemctl restart ssh
Использовать одинаковые серверные ключи, даже на клонированных системах - моветон.