Есть приличная база данных / софт для определения веб ботов?
Есть задача вычислять автоматизированные скликивания на сайте. Сейчас в день набирается до нескольких тысяч переходов от ботов и это проблема. Есть вариант группировки запросов по ип + юагент и занесения ип в блэклист при превышении определенных порогов. Но хотелось бы какое-то более централизованное решение?
Часть ботов хорошие и представляются. С ними можно работать по базе UAParser, например, и по базе user-agent-info. Но таких хороших ботов в итоге около трети.
Остальные представляются нормальными людьми. Но когда с одного ip и одного UA приходит по паре тысяч запросов в сутки, закрадываются подозрения )))
Также, была мысль использовать механизмы куки или js для вычисления ботов, но фиг там, они это выполняют, не все конечно.
Хотелось бы комбинированное решение. На первом рубеже поставим UAParser для вычисления "хороших" ботов. А на втором нужен либо активно обновляемый блеклист api, либо какой-то самообучаемый софт, который будет выслеживать ботов по поведению и заносить их в бд плохих ребят.
Буду благодарен любым наводкам, в том числе и на статьи по теме вычисления ботов.
Буду благодарен любым наводкам, в том числе и на статьи по теме вычисления ботов.
Я сомневаюсь, что кто-либо поделится готовым решением, так как, на мой взгляд, стоимость разработки такого решения довольно высока. По теме есть полезные, но довольно общие статьи в блоге incapsula, например.
Тоже как-то задавался подобным вопросом: Как решить проблему отсекания ботов в статистике?
У меня ситуация осложнялась тем, что user-agent неизвестен, только ip.
Сделав 2 сценария, удалось отфильтровать большинство ботов, но, как мне кажется, получилась немалая доля ложных срабатываний. Вообще, пока эту тему решил отложить.
Простой
Простой