Как обойти 429 ошибку?

Question

[ViktorSorokin]

Написано всё на requests
Написал скрипт который динамически меняет IP и UserAgent, надеялся отправлять много-много запросов за короткое время, но после 20 запросов сайт уходит в 429 ошибку на пару минут, аналогичный результат если я отправляю get запросы со своего IP. Как сайт понимает что это я?
r = requests.get(url_of_items , headers={'User-Agent': choice(useragents)} , proxies={'http': 'http://' + choice(clearAdressesAndPorts)})
Вот строчка которая отправляет запросы.

Comments

[Antonio Solo]

'http': 'http://'

а есть уверенность что ваши прокси анонимизирующие ? да и вообще они у вас работают ?

[Алан Гибизов]

Ну при чем тут тэг Python? Вы бы еще в Спортлото написали.

Answer 1

[Василий Банников]

429 Слишком много запросов/Too Many Requests

Отправляй меньше, делай перерывы.
Почитай в документации к этому сервису, какие у него рейт лимиты.

Как сайт понимает что это я?

У тебя в компьютере гномик сидит, который считает отправленные запросы и отправляет срочную телеграмму на сервер.

По крайней мере на моём сайте так сделаны рейт лимиты, а как в твоём случае не известно, тк ты ни сайт, ни код свой не дал.

Comments

[ViktorSorokin]

Но ведь эту телеграмму можно подменить? Как она называется?
сайт - страницы предметов торговой площадки steam
https://steamcommunity.com/market/listings/730/Sta...
код -
for items in outList:
url_of_items = items
r = requests.get(url_of_items , headers={'User-Agent': choice(useragents)} , proxies={'http': 'http://' + choice(clearAdressesAndPorts)})
print(r)
print({'User-Agent': choice(useragents)})
print({'http': 'http://' + choice(clearAdressesAndPorts)})
каждый раз новый ip и userAgent но через 20 запросов начинается 429 ошибка

[RimMirK]

ViktorSorokin, тег ‹cоdе› в студию! Ну или кнопка </>

[Василий Банников]

ViktorSorokin,

Но ведь эту телеграмму можно подменить? Как она называется?

Мои телеграммы волшебные. Их нельзя подменить и отследить. И отправляются они не через интернет

[Василий Банников]

ViktorSorokin, 1. Я бы попробовал использовать https-прокси на всякий случай.

2. Проверь, что прокси не добавляет какой-нибудь forwarded for

3. Проверь что прокси эксклюзивно твои

4. Проверь, что ты в каждом запросе какой-нибудь токен или куки не передаёшь)

5. Прокси для парсинга предметов в Стиме просто не нужен - там рейт лимитов более чем достаточно.
Это тебе не hft

100к запросов в день блин
https://steamcommunity.com/dev/apiterms

Answer 2

[Виктор Петров]

Ключевое слово тут - фингерпринты. Просто менять IP и UA бывает сильно недостаточно, если ресурс подразумевает хоть какую-то защиту.

Comments

[Antonio Solo]

какие тут фингерпринты, товарищ? фингерпринты в JS браузера работают. он же реквестом обычный гет делает