Как можно обойти 429 ошибку?

Question

[sidorikv]

Есть интересная задача:
Есть сайт, к которому летит огромное кол-во запросов ( запросы асинхронны ) летят они для того, чтобы собрать информацию и вернуть на клиент. Один запрос возвращает информацию за 30 мсс +-, после 100 запроса сайт вешает 429 ошибку, то есть рейтлимит.
Как можно если не обойти, то увеличить кол-во отправляемых запросов на поинт, при этом не теряя в скорости?
Прокси, сессии, хосты, TLS и так далее, интересно послушать любые ответы

Answer 1

[humoured]

Сайт требует авторизации запроса? По API-key, например. Если требует, то лимит может быть привязан к этому ключу, а значит нужно либо больше ключей, либо повышать лимит с разрешения владельцев сайта (сменить тариф?).

Если не требует — просто прокси.

Comments

[sidorikv]

Насчёт прокси согласен. Но вот интересно, один человек сделал как-то так, что у него все хорошо с +- 6-7 шт

Лично у меня минимум 10

[sidorikv]

Сайт не требует авторизации по АПИ ключу итд

[humoured]

один человек сделал как-то так, что у него все хорошо с +- 6-7 шт

Ну и? Нужно больше — делай больше.
Единственный момент: если сайт хостится на дешёвом сервере, то десятком проси его можно убить. Не нужно так делать, следи за временем генерации ответа и балансируй количество запросов.