Все очень зависит от того, что за сервис вы разрабатываете, как и кем он будет использоваться и что в нем есть интересного для брутфорсера. Пока ваш сервис не имеет большой пользовательской базы и не особо интересен атакующим и его брутят только стандартные боты-краулеры которые ищут доски объявлений, будет работать все что угодно, в том числе и простые рейтлимиты, как вы предлагаете и капчи. Если у вас популярный сервис с большой и разнообразной пользовательской базой, то окажется что с одного IP могут ходить и хорошие пользователи и плохие, помимо прямого брута (по паролю) бывает обратный (с одним паролем по разным пользователям), что пользователи очень не любят капчи (а иногда и физически не имеют возможности их ввести, например из-за плохого зрения или дальтонизма) и т.д. В таких случаях защита от брутфорса требует более интеллектуальных подходов и вряд ли вам о деталях их реализации кто-то подробно расскажет.