/etc/letsencrypt/live/domainname/fullchain.pem и /etc/letsencrypt/live/domainname/privkey.pem, в общем - они всегда будут смотреть на актуальную версию. tail-f лога подключений или по крону грепайте периодически адреса, с которых к вам подключаются и натравливайте вывод на ваш скрипт, в котором в случае положительного ответа добавьте создание запрещающего правила для iptables. Можно вместо прямой отправки на фаерволл писать "плохие" айпишники в отдельный файл, для которого настроить более интеллектуальный парсер, например fail2ban.