Определение живых пользователей от ботов?

Question

[Камил]

Подскажите пожалуйста.
Какие следы оставляют браузера на веб сайтах листая страницы?
Стоит задача, написать минимальную защиту от ботов. Понятно что сейчас можно подделать все, но и все же.
Первое что приходит на ум, это IP + Куки (Как минимум должны быть у живого юзера)
Но к чему еще можно зацепится?

Comments

[АртемЪ]

Для начала нужно определиться - для чего вам это нужно? Чего хотите добиться в итоге?
Боты создают слишком большую нагрузку на сервер? Или хотите защитится от парсинга? Или что-то иное?

Answer 1

[index0h]

Цель любой защиты - сделать ее взлом не выгодным. Самая дешевая защита:
1. Проверка user-agent
2. CSRF
3. Гугло каптча перед важным действием
4. Блокировка на N минут после неудачного входа / важного действия

Простые атаки это отсечет, но не более. Невидимая картинка вас спасет от примитивных curl/wget, не более. WebDriver ко многим защитам на стороне браузера (секреты в localStorage, iframe, ...) не восприимчив.

Те защиты, что я привел - тоже не дают особых гарантий, но они довольно дешевые

Comments

[batyrmastyr]

Господи, сделай отдельный круг ада для адептов капчи.
Если у вас на сайте что-то действительно важное, то делайте двухфакторную аутентификация по одноразовым паролям в генераторе / почте и других внешних учётках / смс или повторно запрашивайте логин и пароль пользователя.

[s5656]

batyrmastyr, и отдельный для адептов смс и телефонов.

Answer 2

[Владимир Коротенко]

1. Запрос страниц без картинок (почти однозначно бот)
2. Время на странице (нужна статистика)
3. Капча на чувствительные места (регистрация и отправка сообщений)
4. Регистрация через соц. сети (почти однозначно не бот)
5. Невидимая кнопка, если перешел сразу бан. (почти однозначно бот)
6. banner gdpr большого размера и не нажатая кнопка. (почти однозначно бот)
7. push notification который не нажали на 2 страницах (почти однозначно бот)

Comments

[АртемЪ]

Запрос страниц без картинок (почти однозначно бот)

Пользователь на даче.

3, 6, 7 отличные причины для пользователя быстрее свалить с сайта и никогда не заходить туда больше.

[Владимир Коротенко]

АртемЪ,
6 вроде как требование законодательства.
3 не раздражает, особенно если у пользователя нормальный профиль, она просто не появляется
7 наиболее надоедливая на сегодня штука, по какому то недоразумению пихаемая на все сайты, лично я на автомате ее сношу.

[wisgest]

6 вроде как требование законодательства.

Владимир Коротенко, нет, это «заставь дурака молиться…».

[batyrmastyr]

Владимир Коротенко,
3. если у пользователя нормальный профиль - то он не бот по определению. У всех новых пользователей профиль не нормальный.
6. мертворождённое требование европейского законодательства к европейским же сайтам. На остальные сайты ставится только по дурости и чтобы пользователю подосрать.

[Владимир Коротенко]

3. Все зависит от поведения, капча на регистрацию и допустим на первые 50 сообщений, создает проблемы, для массовых регистраторов, плюс если угнали аккаунт, появляется куча спэм сообщений, капча это отслеживает. Поэтому все же стоит ее оставить.

В конце концов вопрос в балансе удобства и защиты

[batyrmastyr]

Владимир Коротенко, на случай угона проверку нужно ставить на число сообщений в N минут / секунд / часов + на наличие html, соотношение кириллицы и латиницы, а не на первые 50 сообщений.
Вы даже не представляете, как бесила эта чёртова рекапча на первые 5 сообщений с "найди автобус" по 2 - 5 раз подряд, протуханием пока пишешь сообщение и опять 3 раза ищи светофоры.

[Владимир Коротенко]

batyrmastyr, Представляю. Как то сидел с билайна, после каждого реконнекта меня любезно гугл просил 2-3 раза угадать.

Альтернатива посадить кого нибудь и в ручном режиме банить.

Answer 3

[Надим]

Движения курсора мыши, скролл. Вообще, мне чуйка говорит, что должны в природе существовать js плагины для определения ботов. В крайнем случае, вы можете использовать интеллектуальную рекапчу 3 от Гугла, она как раз возвращает процент вероятности, что посетитель реальный человек, на основе анализа поведения и т. д. При этом работает фоном, не нужно отгадывать никаких картинок, все происходит автоматом.

Comments

[Камил]

На нее вот вот появится антигейт, если еще нету. Но как вариант

[Владимир Коротенко]

Камил, будет рекапча 4

Answer 4

[xmoonlight]

Но к чему еще можно зацепится?

1. К iframe+canvas+localStorage: выполнился скрипт с инициализацией канваса и локального хранилища через js внутри iframe - не бот с большей степенью вероятности.
2. Корректная строка UserAgent - скорее, не бот.
3. IP-адрес: регион IP-адреса и язык контента сайта - совпадают - скорее, не бот.
4. Более 2-х (3 и более) просмотров страниц подряд "вглубину" с корректым Referer-ом - скорее, не бот.

Вообще, лучший фильтр - это поведенческая статистика с "весами" по каждому критерию (бот/не бот).

Comments

[Владимир Коротенко]

Все это уже сделано
https://github.com/samyk/evercookie

А насчет весов полностью согласен

[xmoonlight]

Владимир Коротенко, evercookie - совсем не для этого.

[Владимир Коротенко]

xmoonlight, Это просто инструмент, а уж для чего вы используете это ваше дело.
Как и кухонный нож не предназначен для убийства, однако по статистике это самое распространенное орудие преступлений.

[xmoonlight]

Владимир Коротенко, в целом, я бы не стал его применять: для юзеров он слишком громоздкий при загрузке страниц.

[Владимир Коротенко]

xmoonlight, Мы же сейчас про антифрод систему говорим?
Удобство пользователя тут дело 10е.
Как пример магазин DNS и сайт Авито просто выкидывают пользователя использующего VPN
Гугл без входа в аккаунт постоянно показывает капчу, после 5-6 раз успокаивается, но на новой виртуалке это раздражает.

Вот этот сайт содержит только явных счетчиков 5 штук.
Причем самый навязчивый яндекс просто безбожно засоряет консоль.

[xmoonlight]

Владимир Коротенко, внешние счетчики метрик - это точно не антифрод.
Поведенческий фильтр и проверка IP - ещё что-то похожее...

Answer 5

[Александр]

Знаете, как показывает практика, от парсинга вы не защититесь ну никак ))
Парсеру достаточно использовать Selenium + FingerPrint + эмуляция действий пользователя (например движение мыши) и все, ваш сайт спарсен.