Как отслеживать парсеров?

Question

[ikutin]

Доброго времени суток, можете рассказать как вы отслеживаете, что вас начали просить через какой-нибудь скрипт, учитывая что бы получить доступ к сайту нужна авторизация

Comments

[shurshur]

Например, считая число запросов и выдавая ошибку 429 или показывая капчу на превыщение рейтлимита. Или отслеживая запросы с нетипичными для живых пользователей особенностями (заголовки Referer, User-Agent, запросы с параметрами, которые в js-скриптах сайта не предусмотрены, итд итп). Можно отслеживать js или tls fingerprint'ы, аномальную нагрузку по сравнению со средней... В этой сфере довольно много уже придумали, как много придумали и те, кто сайты парсит.

В общем случае задача никак не решаема. Парсер всегда может изобразить органического пользователя или много органических пользователей с разных адресов. Даже профессиональные сервисы защиты за много денег обходят.

Answer 1

[Михаил Р.]

можете рассказать как вы отслеживаете, что вас начали просить через какой-нибудь скрипт

Либо готовыми средствами антибот защиты, либо самописными.
Как анти-бот системы определяют ботов и как от них защищаться?

учитывая что бы получить доступ к сайту нужна авторизация

Прошли аутентификацию, получили куки и дальше можно парсить. В чем сложность?

Answer 2

[Mors Clamor]

Для абсолютного большинства случаев подходит Google ReCAPTCHA (invisible)

Comments

[Пасечник Кузьмич]

Как капчей защитить от парсинга каталог товаров, ленту новостей, пользовательские профили и т.п.? Открывает юзер Хабр, а ему сначала капча показывается? Переходит на следующую страницу ленты или проваливаете в комментарии, а ему опять капча?

[Mors Clamor]

Пасечник Кузьмич, бро, ты в 2010?