Как скрипту на Python 3 максимально прикинуться браузером?

Question

[Вячеслав Грачунов]

Собственно сабж. Парсинг. Что проверяют сайты кроме ip? По ip не банят, т.к. после отвала скрипта с браузера захожу спокойно. Как сделать, чтоб меня не палили и считали браузером? Слипы стоят. Юзерагент от фаерфокса виндового

Answer 1

[ТёмнаяМатерия]

Сильно максимально не поучится потому что он мышкой всё равно двигать никак не сможет. Тогда уж вам нужен phantom.js

Answer 2

[Владимир Куц]

Смотреть какие заголовки передает броузер (User-Agent и прочие), и подставлять такие же.
Использовать куки.
В особо сложных случаях использовать Selenium webdriver.

Comments

[Вячеслав Грачунов]

Юзер-агент подставляю, про прочие не подскажешь?

[Владимир Куц]

Вячеслав Грачунов: ну дык - запустить в броузере консоль разработчика. Зайти броузером и глянуть что ваш броузер в заголовках передает. Подставить такие же значения. Там может быть к примеру реферер, и прочие заголовки, которые сервер отслеживает. Что именно ваш броузер передает - нужно смотреть конкретно в вашем случае.

Answer 3

[Владимир Козловский]

Всё просто: если вы хотите полностью прикинуться браузером, то вам надо стать настоящим браузером. Для самых сложных случаев я использую пакет https://github.com/niklasb/dryscrape. В двух словах это биндинг к WebKit.

Проверки могут стоят самые разные: начиная от обычной проверки заголовка User-Agent и заканчивая AJAX запросами с параметрами, которые сгенерировал JavaScript в браузере.

Answer 4

[Влад Животнев]

chrome -> f12 -> network -> refresh page -> copy as curl