silverjoe

Используйте port-knocking
Тогда понадобиться только клиент ssh

Например по определенной последовательности стука в порты открываете для ip с которого постучались полный доступ

Вобщем почитайте про этот вариант

Там есть в файле jail.conf параметр "exclude" чтоли, в нем прописан локалхост
Впишите через запятую ваши IP с которых вы подключаетесь и перезапустите fail2ban

NMAP
https://habrahabr.ru/post/88064/