Как создать многопоточную программу обращающиеся к API?

Question

[ProgrammDevel]

Есть API с ограничениями на запросов в секунду.

Нужно многопоточно обращаться к API и получать нужные значения

Но есть проблема с ограничениями на запросы в секунду от одного ip

Как сделать, чтобы можно было обращаться многопоточно к API?

Answer 1

[historydev]

Прокси

Comments

[psiklop]

Ну-ну, когда банят по ключу возможно/вероятно

[historydev]

psiklop, Тогда ещё проще, покупаешь много ключей.

[psiklop]

historydev, действительно проще.

[d'Ivan]

Поясни о том как прокси регулирует скорость обращений.

[d'Ivan]

С прокси, получается, ломишься с разных анонимных посредников, невзирая на ограничения лимитов.

Answer 2

[Everything_is_bad]

вариантов куча, например, сделать все запросы через очередь с одним исполнителем, который будет делать нужные задержки

Comments

[ProgrammDevel]

Дело в том, что нужна скорость, задержку делать не лучший вариант тут

[Everything_is_bad]

ProgrammDevel, ну тогда покупай прокси или ip, ну и тогда при чем тут вообще многопоточность?

Answer 3

[Nik Faraday]

обращаться многопоточно к API

Многопоточно? Как, блин, потоки с IP связанны? Ну закиньте что-то типа такого:

while(true)
{
    requestTo('https://domail.com') // Async operation without await
}

UPD:

Если стоит ограничение, тогда лучше так:

while(true)
{
speep(100); // API waiting
await requestTo('https://domail.com');
}

Comments

[ProgrammDevel]

Если многопоточно обращаться к API, то выбрасывается ошибка о многократных запросах.

Sleep делать не вариант тут. Нужна скорость

[Nik Faraday]

ProgrammDevel, Я имею ввиду, при чём тут многопоточность? Вам нужны разные адреса, а не потоки. Для этого вам нужно прокси, как уже сказал historydev

Answer 4

[Vindicar]

Причём тут конкретно многопоточность?
Если дело в том, что в нескольких потоках трудно координировать обращения к API, то как выше правильно сказали - делайте очередь запросов (например, queue.SimpleQueue) и отдельный поток, который будет эти запросы выполнять с учётом лимитов.

Например, так: поток-клиент кладёт в очередь словарь вида

task = {'ready': threading.Event(), 'params': {...тут параметры запроса...} }

, а потом делает

task['ready'].wait()
if 'error' in task:
    ... # реагируем на ошибку
else:
    ...  # читаем результат из task['result']

Тогда рабочий поток, реализующий обращения, будет принимать очередное задание из очереди, делать запрос к API согласно содержимому params, потом записывать результат в task['result'] или ошибку в task['error'] и делать task['ready'].set(), чтобы уведомить клиента о том, что его задание завершено.

Comments

[ProgrammDevel]

Нужна скорость, поэтому нужна многопоточность.

Дело в том, что когда обращаешься к API через многопоточность выпадает ошибка о том, что слишком много запросов к API с одного IP

[Everything_is_bad]

ProgrammDevel, имея один IP, ты ничем не увеличишь скорость, многопоточность тут вообще каким-то левым боком

[Vindicar]

ProgrammDevel, выше лимитов не прыгнешь.
А если нужно обойти лимиты, то готовь список прокси - со всеми сопутствующими проблемами...

[ProgrammDevel]

Единственное решение, как я понимаю это работать с прокси

[d'Ivan]

ProgrammDevel, нет, не единственное.
https://qna.habr.com/answer?answer_id=2337682#answ...