Какая защита от ботов используется в этом случае?

Question

[Алексей Демин]

Привет, коллеги!
it-patrol прислали однажды письмо о включении спам защиты на своих серверах:

Защита работает следующим образом:
- на сервере ведется статистика всех запросов к сайтам;
- если запросы от какого-либо посетителя подпадают под определение "спам", то ему показывается web-страница о обнаружении СПАМ активности и предложение нажать ссылку, что это не бот;
- если посетитель нажмет эту ссылку, он сможет продолжать нормально смотреть и что-либо делать на вашем сайте (бот такого сделать не сможет).

Охота узнать, какая технология используется и на сколько она эффективна?

Спасибо!

Answer 1

[throughtheether]

Я не думаю, что какой-либо вендор расскажет вам в деталях, как устроена подобная защита. Мои предположения:
1) настраивается сбор статистики (количество GET/POST запросов в единицу времени, период времени между запросами, характеристики обхода графа ссылок и прочая)
2) натравливаем популярных ботов, собираем статистику
3) обучаем систему на живом трафике
4) учим систему классифицировать трафик, относится ли он к случаю 2) или 3)
5) ???
6) профит!
По поводу эффективности технологии - я не знаю, как ее померять. Зато знаю, что "нажать ссылку" - это довольно примитивная защита, капча и то лучше, полагаю. В случае массовой атаки на сервисы, защищенные капчей, как правило, используются сервисы типа "антикапча", которые стоят денег. То есть под внятную атаку нужен бюджет; есть ограничение по масштабируемости атаки. В случае защиты секретной ссылкой - нужно один раз научиться доставать ссылку (phantomJS и другие headless-решения), и размножить это метод по всем ботам. Насколько мне известно, ботов на основе phantomJS выявляют по тонким отличиям в реакции на субстандартные заголовки.

Comments

[Алексей Демин]

Дело в том, что я хочу что-то подобное сделать на своем сервере. Именно средствами сервера. Для каждого отдельного сайта поставить можно защиту. хоть капчу, хоть ханипот или еще что.. Интересуют именно серверные решения.

[throughtheether]

Если я вас правильно понял (нужно решение, агностическое касательно нюансов имплементации сайта, нечто вроде Web Application Firewall), то вам, вероятно, поможет реверс-прокси с соответствующей логикой. Как вариант, nginx c поддержкой Lua для реализации необходимой логики.

Answer 2

[Сергей Савостин]

https://www.cloudflare.com/