Как правильно отправлять header, get и post запросы при парсинге, чтобы не банили?

Question

[Hisoka]

Я столкнулся с проблемой бана при парсинге, и я слышал, что можно этого избежать отправляя header get и post. Но вот как делать это правильно? В каком месте кода и тд. Я решил отправлять с помощью guzzle. Можете подсказать/рассказать об этом, или кинуть какие то статьи на эту тему.

Заранее спасибо

Answer 1

[rPman]

В общем случае нужно повторять те же запросы и ту же их последовательность, в идеале с правильными таймингами, что делает браузер. Если хотите знать что да как, открываете в браузере хром или фаерфокс нужную страницу, жмете f12, закладка network, выбираете по очереди каждый запрос, правая кнопка, копировать, curl с заголовками и изучаете.

Понятно что конкретный сервис может не заморачиваться с таким скрупулезным анализом, но что именно будет делать - вопрос исследования.

Поэтому правильный способ, не пытаться объять необъятное и пользоваться готовым браузером, управляя им со стороны или плагином/инжектом управляющего скрипта прямо на страницу.

Comments

[Hisoka]

Я не очень понимаю, как это можно реализовать. Можете кинуть каких нибудь примеров?

[rPman]

Тупой пример, браузерный плагин типа greasemonkey/tempermoinkey инжектит по вашим условиям на страницу ваш скрипт который:
Кликает на нужные элементы $('#id').click() заполняет поля ввода $('input.login').value='zuzu' и читает содержимое страницы напрямую из dom $('body').html() или $('table').text() или вообще без jquery, используя таймеры, и обмениваясь данными с вашим сервером по websocket/http ajax (осторожно, если сайт https то и ваш сервер тоже должен быть таковым либо понижайте настройками уровень безопасности в браузере)

p.s. вместо использования браузера можно запилить свое приложение на основе готовых движков, используемых webkit/chromium/firefox или майкрософтовским браузерами, это не сложно, примеры гуглятся. например на .net c# достаточно кинуть на форму контрол WebBrowser и все.

Тогда работать со страницей будет еще проще, без каких либо ограничений

[Hisoka]

rPman, Благодарю вас, буду углубляться в эту тему