@hisoka_a_little_coder

Как правильно отправлять header, get и post запросы при парсинге, чтобы не банили?

Я столкнулся с проблемой бана при парсинге, и я слышал, что можно этого избежать отправляя header get и post. Но вот как делать это правильно? В каком месте кода и тд. Я решил отправлять с помощью guzzle. Можете подсказать/рассказать об этом, или кинуть какие то статьи на эту тему.

Заранее спасибо
  • Вопрос задан
  • 69 просмотров
Решения вопроса 1
@rPman
В общем случае нужно повторять те же запросы и ту же их последовательность, в идеале с правильными таймингами, что делает браузер. Если хотите знать что да как, открываете в браузере хром или фаерфокс нужную страницу, жмете f12, закладка network, выбираете по очереди каждый запрос, правая кнопка, копировать, curl с заголовками и изучаете.

Понятно что конкретный сервис может не заморачиваться с таким скрупулезным анализом, но что именно будет делать - вопрос исследования.

Поэтому правильный способ, не пытаться объять необъятное и пользоваться готовым браузером, управляя им со стороны или плагином/инжектом управляющего скрипта прямо на страницу.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы