разрешите подключаться только с вашего айпишника + обзаведитесь статичным
если статичный айпишник не про вас, то можно врубить лютую паранойю - поднимите на сервере OpenVPN и разрешите подключаться к SSH только через этот тунель)))
PS: выкиньте id_rsa и используйте ed25519 - ключи. (для параноиков - с количеством раундов этак 1000)
Оффтоп:
Если у вас ubuntu, то ставьте epiphany-browser
Он хоть не на 100% с сафари совместим, но webkit и там, и там одной версии (+/- по минору иногда расходятся)