Смотрите логи, выделяете соответствующие запросам брутфорса, составляете регулярку. Но, как правильно заметили в комментариях, есть модуль nginx с аналогичной функциональностью.
А если говорить максимально серьёзно - это должно разруливаться на стороне приложения, а на веб-сервере только рейтлимиты.