Как в access.log выделить ботов и отправить их в fail2ban?

Question

[Anton B]

Всем привет!

Есть роботы которые откровенно парсят проект, а есть добросовестные пользователи, которые генерируют большое число запросов. limit_req не подходит, потому что один IP может быть более чем у одного пользователя, да и один пользователь в какие-то единичные моменты времени может быть сверх активен. Так же есть адреса на которые допустимо много запросов.

Роботам свойственно перебирать ID, например, /page/1, ..., /page/1000.
Так же нормальный человек не будет запрашивать index.php 1000 раз в минуту.

Конечно роботов можно обнаруживать в ручном режиме, но хотелось бы это автоматизировать.

Поделитесь своим опытом. Спасибо!

Comments

[Максим Васильев]

Так fail2ban вроде бы умеет бынить только по IP

[Сергей]

вам регулярные выражения в помощь, и ман по jails

[Anton B]

Сергей: если вы можете составить регулярку отличающую поведение робота и человека, составьте.

[Сергей]

Anton B: ну так для этого у вас лог есть у меня его нет чтобы что то составлять. Отдел аналитиков вам скажет повторяющиеся тенденции и обычно на нагруженных проектах access лог отключен, зачем тратить уйму времени на его обработку. Ну и если это веб приложние доступно широкому кругу лиц смысл вообще в этом тогда? Я думаю ваш случай это найти грамотного человека и заплатить денег, так как слишком много входных данных. За бесплатно врятли кто будет ршать вашу проблему

[Сергей]

А так конечно можно по заголовкам еще попробовать на уровне конфигурации отсечь их сразу

[Вадим Мисбах-Соловьёв]

Сергей: а можно и не смочь. Отсеките вот этот скрипт, например https://gist.github.com/msva/f90ff8ce5a2fb0202ef06... :)