Как исправить ошибку 429 Too Many Requests?

Question

[Pashtet221]

Парсил данные с одного сайта, теперь заблокировали к нему доступ как на ноуте так и на телефоне. Можно ли использовать какой-нибудь VPN или типо того?

Comments

[Дмитрий]

купить прокси. ходить через них.

Answer 1

[d'Ivan]

429 Too Many Requests

Уменьшить частоту запросов (не логично ли?). Не нужно "бомбить" сайт.

Стоит посмотреть на возвращаемые заголовки и посмотреть на заголовок Retry-After. Попытаться перезапланировать задачу скрэпинга на время согласно рекомендации заголовка.

После внедрения вышесказанного, если позволенная частота запросов не удовлетворяет, только тогда рассматривать всякие прокси сервера и прочие.

Comments

[Pashtet221]

я "бомбил" с интервалом в 2 секунды - это не сильно большая нагрузка на сайт. Спасибо за ответ, но все решилось с помощью VPN

[d'Ivan]

Pashtet221, VPN - временная мера, пока снова не заблокируют.

[Pashtet221]

Román Mirilaczvili, с VPN можно каждый раз менять ip-адрес, заблокировали один, поменял на другой и так до бесконечности, или это как-то по другому работает?

[d'Ivan]

Pashtet221, насколько я понимаю, VPN сервер имеет фиксированный IP. Однако, есть конфигурации/сервисы VPN с динамическими IP.