1) Перенести порт ssh сервера со стандартного на другой, это отобьет большую часть ботов/сканнеров
2) Запретить авторизацию пользователю
root по ssh
3) Поставить
Fail2Ban для блокировки айпишников с которых идет брут
P.S. Разные порты это скорее всего порты исходящего соединения, поэтому они разные, к вам же они все стучатся на порт который указан в конфиге sshd
