Два текстовых файлика. Все просто, но эффективно. Анализируются логи сервиса, которые содержат информацию о попытках доступа. По результатам анализа создаётся блокирующее правило.
Использовал на почтовике-релее. Отправлял в блокировку на месяц за попытки подбора пароля и попытки передачи почты через опенрелей. Через месяц начала использования размеры логов уменьшились и количество попыток резко сократилось - видимо боты имеют обучение/память.