Как сервер различает, запросы сделанные с помощью Python, от запросов сделанные Браузером?

Question

[Mr.Robot]

Интересует, как сильно отличается запрос сделанный с помощью Python(requests или httpx) от запроса идущего с любого другого браузера? Есть ли различия?
По идее, это набор одних и тех же битов.
Как сервер понимает, что у клиента, который шлет запрос, нет JS обработчика.

Заранее, всем спасибо за ответ.

Answer 1

[Сергей Соколов]

можно еще проверять, запросил ли потом ещё какой-то URL, по инициативе JS.

Закрыл ли соединение, или это HTTP/2.

Answer 2

[Vindicar]

1. Просто, но эффективно - заголовки запроса, в т.ч.

• User-Agent
  
• Cookie
  
• Referer
  

Также легко подделывается.
2. Использование штук типа prefetch и тому подобных. Если клиент запросил страницу, но не запросил сразу же стили/скрипты на ней - возможно, это бот. Просто, но рискованно (можно забанить обычных людей) и затратно (нужно анализировать отдачу статики).
3. Исполнение JS-кода - например, предлагает клиенту выполнить фоновый AJAX-запрос, который поставит специальную куку. Минус - работает только со второго запроса. Обходится безголовым браузером типа selenium.

Answer 3

[Владислав Лысков]

очевидно, по заголовкам

Comments

[Mr.Robot]

Окей, тогда почему, при включении всех заголовков в Python requests, в ответ вылазит ошибка или проверка капчей? Тот же запрос от браузера, не шлет в ответ капчу

[shurshur]

Master Ruby, есть множество способов. Например, поведенческий анализ. Вряд ли обычный пользователь запросит 1000 страниц сайта за 5 минут.

Кроме того, во многих защитных механизмах особенно внимательно мониторят сети хостеров. Например, с моей виртуалки в Hetzner некоторые сайты не работают, а на некоторых капча каждый день вылазит.

[Mr.Robot]

shurshur, согласен, 1000 страниц - 5 сек, тут все ясно, но если это cloudflare? тУт и 1 запрос не пройдет, у меня есть мысли, как можно обойти, но перед этим, я хочу собирать инфу.

[shurshur]

Master Ruby, cloudflare дико умный, он всё учитывает, что только можно, и обойти его рабоче-крестьянскими средствами крайне сложно.

Самый рабочий и простой способ - открыть с того же IP браузером сайт и затем перенести полученные куки в скрипт. Но CF в любой момент может впулить юзеру скрипт, который потребует обновить эти куки, ну или покажет капчу. На некоторых сайтах CF показывает капчу минимум раз в сутки любым пользователям, без разбору.