Определенное RDS (запросы в секунду) в сервере очередей?

Question

[Максим Е]

На данный момент есть сервер Gearman, несколько серверов по 20 воркеров на каждом.
Воркеры делают запросы через curl по определенному адресу (стороннее внешнее API).

Вопроса два:
Как ограничить количество запросов в секунду всеми воркерами? Чтобы не отправлялось больше 100 запросов в секунду со всех воркеров по определенному адресу.

Как ограничить количество запросов в секунду воркерами на определенном сервере? Если каждый сервер имеет один IP, то ограничить отправку запросов с одного IP к стороннему API.

Answer 1

[Константин Кияшко]

Средствами Gearman этого сделать, разумеется, нельзя - это явно внешняя по отношению к gearman задача.
Главная идея - запустить весь поток через какой-то регулятор.
Как бы я сделал.
1) есть мастер-воркер, который добавляет задачи на сервер очередей на запрос к внешнему АПИ
2) клиенты кидают в очередь не задачи на запрос к внешнему АПИ, а задачи на запрос к этому самому мастер-воркеру
3) мастер-воркер, получив задачу, смотрит, не превышен ли поток, и, если превышен, ждет, не превышен - кидает в очередь задачу на запрос к внешнему АПИ

Comments

[Максим Е]

Спасибо! Я так и думал с самого начала, но смущало, что мастер-воркер должен где-то хранить данные. Если их хранить в mysql, то долго. Если в Redis, то быстро, но не централизованно (а если централизованно, то опять надо подключаться к внешнему ресурсу). Воркеры на разных серверах, возможно даже не в одной локальной сети.

[Константин Кияшко]

Максим Ф: А зачем такие сложности? Сколько запросов выполняется в данный момент - это просто переменная, хранить эти данные точно ни к чему. Я бы просто в переменной держал эту величину. Мастер-воркер - он один, выполняет только две задачи - инкремент и декремент. И кстати о централизации - если мастер-воркер один, то вопрос о централизации теряет смысл.

[Максим Е]

Константин Кияшко: еще раз прогнал сценарий с мастер-воркером. не выходит. нужно чтобы запросы шли с разных IP. Имеем только сервера с одним IP на каждом.

[Константин Кияшко]

Вы меня не поняли в принципе. Мастер-воркер ставит в очередь задачи другим воркерам, вот они как раз с разных IP

[Максим Е]

Константин Кияшко: все теперь понял! Спасибо!

[Константин Кияшко]

Я так делал - создавал GearmanClient в воркере и веселилсо. Что реализовывал таким образом:
- регулировка: то что у вас
- феникс: мастер-воркер следит за выполнением задачи и другими воркерами. Если задача выполнена с ошибкой или не выполнена, мастер-воркер ставит ее опять в очередь - возрождает как феникса из пепла. Если не хватает воркеров (упало несколько), он их запускает - опять же возрождает как феникса )))
Для управления очередью я написал класс и веб-приложение, посмотрите, может, пригодится
https://github.com/konst21/gearman_monitor_control
Там можно получать число задач в очереди в частности
Ссылка на описание на хабре там есть. отвечу на все вопросы если нужно

[Константин Кияшко]

В этом веб-приложении я получаю число воркеров на одном сервере, но там в коментах в классе Gearman_Monitor есть как получить число воркеров, которые могут обработать данную ф-ю в очереди, с подробностями, как-то: IP и пр.

[Максим Е]

Константин Кияшко: большое спасибо! ознакомлюсь!