Как избежать ошибки HTTP 429?

Question

[Кирилл Резанов]

Всем привет, мне тут понадобилось написать скрипт, который определяет по ключевым словам на каком месте находится сайт в выдаче по поиску, но при использовании скрипта мне вылетает ошибка HTTP 429, я понимаю, что все поголовно защищены от дудосов и прочего, есть какой-то вариант обхода этого? Чтобы всё-же задействовать скрипт как нужно.

Answer 1

[d-sem]

Смотреть в заголовках. Часто в заголовках ответа пишется сколько попыток осталось или через сколько времени можно обраться снова. На основании этих данных построить скрипт так чтобы получить информацию дозированно.

Вариант обхода - набор проксей и правильный набор заголовков. Также возможно, что headless браузер будет иметь большее число попыток при грамотной настройке, если эмулировать реальное поведение пользователя.