Как притвориться браузером на Python?

Question

[Иван]

Мне нужно спарсить страницу поисковой выдачи Яндекса с помощью скрипта на Python. Я резонно предположил, что если я просто буду слать поисковые запросы Яндексу через get параметр, Яндекс посчитает мою программу роботом и ничего не выйдет.

Вопрос - как на Питоне сформировать правильные заголовки headers, чтобы Яндекс посчитал что поисковый запрос идёт от обычного браузера?

Answer 1

[Папа Стифлера]

Splash

Answer 2

[qlkvg]

selenium

Comments

[Gadd]

Яндекс прекрасно может и Selenium заблокировать. У меня
почту точно блокировал

[qlkvg]

Вполне ожидаемо. Надо эксперементировать с таймаутами/случайными переходами/эмуляцией мышки и т.п.