разрешите подключаться только с вашего айпишника + обзаведитесь статичным
если статичный айпишник не про вас, то можно врубить лютую паранойю - поднимите на сервере OpenVPN и разрешите подключаться к SSH только через этот тунель)))
PS: выкиньте id_rsa и используйте ed25519 - ключи. (для параноиков - с количеством раундов этак 1000)