Gansterito

Смотрите вывод netstat -apn | grep ":22"
Вот пример легитимного исходящего соединения, инициированный командой ssh, pid 12690:

tcp        0      0 your_ip:46324   remote_ip:22       ESTABLISHED 12690/ssh

Вот такое соединение выглядит сомнительно, т.к. его инициировало какое-то левое приложение, таких записей может быть очень много:

tcp        0      0 your_ip:46324   remote_ip:22       ESTABLISHED 12690/php
tcp        0      0 your_ip:46224   remote_ip:22       ESTABLISHED 12692/php

Далее по PID смотрите что за приложение, от какого пользователя работает, как запускается (cat /proc/${PID}/cmdline), какие у него открытые файлы (lsof) и т.д.

Что у вас за сервис? Если веб (http/https) - это одно, какой-то специфичный application - другое.

Ставить прокси, заруливать гостей принудительно на них (через WPAD или вручную).
На прокси лимитировать количество запросов от каждого клиента.
Иметь несколько IP-адресов от провайдера: для служебного пользования, для гостевого.

Можно попробовать через модуль hashlimit с hashlimit-mode=srcip,srcport. Этот параметр поможет выполнить условие лимит на коннект.
Но, мне кажется, что правильней держать черные и белые списки на ipset.