Как ограничить вызов API тремя запросами в секунду?

Question

[Валерий]

API Вконтакте имеет ограничение на количество запросов: не более 3-х запросов в секунду. Ни много, ни мало, но все же с ним приходится мириться.

Вопрос в следующем: есть демон на PHP (без критики пожалуйста, отлично работает), который использует это API в несколько потоков (для нескольких пользователей). Нужно как-то синхронизировать вызов методов из всех потоков на "не более 3-х в секунду".

Решение "в лоб" - использовать некое "общее быстрое хранилище" для хранения информации о вызовах. Читать-проверять-вызывать.

Но, возможно, есть более элегантные или даже готовые решения?

Answer 1

[Сережа Ахен]

Если "для нескольких пользователей", то ограничивать нужно каждый поток отдельно, ведь ограничение в 3 запроса накладывается на 1 токен.

Решение на php: пишем демона, который будет дергать запросы с базы данных (ну скорее всего в mysql) и выполнять их по очереди, соответственно удаляя из таблицы уже отработанные запросы. А ваши старые демоны будут складывать в базу данных эти запросы.

Если у вас небольшое приложение, то советую реализовать на nodejs, используя готовую либу vk-io https://github.com/negezor/vk-io . В данной либе реализован сбор запросов в execute, как итог - мы можем делать 75 запросов в секунду с одного токена.

Comments

[Валерий]

Хм, вы уверены?

Когда читал было: "3 запроса на один IP". Сервер у меня пока один, проксей нет.
Щас буду перечитывать.

[Валерий]

Впрочем, даже если так, один пользователь может запустить сразу несколько задач. Можно и это конечно ограничить, но все же хочется сделать более "общее" решение.

[Сережа Ахен]

Валерий Озарничук: обновил ответ. Не знаю где Вы прочитали про ip, можно цитату?

[Валерий]

Сережа Ахен: Сам что-то не найду. Видимо где-то увидел на стороннем ресурсе и в голову "засело".
Задал этот вопрос в поддержку, т.к. в доках внятного ответа все равно нет:

К методам API ВКонтакте (за исключением методов из секций secure и ads) можно обращаться не чаще 3 раз в секунду.

[Сережа Ахен]

Валерий Озарничук: так-же обновил ответ для пыхапе и демонов ваших. У меня было так реализовано, только демон собирал запросы из базы и использовал execute. Но с execute это решение для одного токена.

[Валерий]

execute и так использую по возможности. Да и с PHP не хочется уходить, там много завязок на личный кабинет и прочее.

Но у меня самое долгое - это загрузка картинок, а ее через execute вроде бы нельзя реализовать.

[Валерий]

За вариант с очередью спасибо. Выглядит более удобно, чем проверил-отправил.
Правда очередь лучше на чем-то более шустром делать, наверное. У меня Redis та, думаю пойдет.

[Сережа Ахен]

Валерий Озарничук: ну вот вариант, создать демона папу, который будет работать с запросами детишек =)
Но насчет трех запросов в секунду от одного токена это 100% инфа, например Вы можете создать в группе хоть 50 токенов и использовать их даже с execute, тогда Вы сможете от лица группы выполнять 3750 запросов в секунду.

[Валерий]

Сережа Ахен: но ведь тогда прийдется пользователю показывать 50 окошек авторизации? :)

[Сережа Ахен]

Валерий Озарничук: не, с пользователем не тестил, там конкретно про группы. От пользователя действительно 3 или 75 при execute запросов в секунду.
Ну как факт - вам все-таки нужно ограничивать именно потоки (отдельные ограничения на каждого юзера, а НЕ ip).

p.s. так-же перенесите все запросы, которые можно использовать с сервисным токеном или с токеном сообщества на соответствующие токены, тоже помогает в решении проблемы.

Answer 2

[Пума Тайланд]

ну юзеры разные просто в каждом потоке делайте делай на треть секунды

Comments

[Валерий]

Это очень сильно замедлит работу :)

[Пума Тайланд]

Валерий Озарничук: ну если у вас ограничение три вызова в секунду на юзера и каждой в отдельном потоке то у вас выбора нет

Answer 3

[Антон Иванов]

А разве это не забота веб-сервера (типа nginx, apache)? Не скажу по настройкам, но мне кажется именно там и ставятся такие ограничения.

Comments

[Валерий]

Нет, совершенно не веб-сервера

[Антон Иванов]

Валерий Озарничук: Ну почему же? Вот первое гугление выдало
nginx.org/ru/docs/http/ngx_http_limit_req_module.html

[Валерий]

Антон: я посылаю запрос, а не принимаю его :)
Мой веб-сервер в этйо цепочке не участвует. Поидее можно извратиться, но...думаю не стоит.

[Антон Иванов]

Валерий Озарничук: О! Видимо читал вопрос через строку ... Извиняйте.

Answer 4

[⚡ Kotobotov ⚡]

на АККА есть так называемый circuit breaker (реализующий этот подход) (на пхп вроде нет акка)
суть такая, есть посредник, который следит за исполнением запросов, через этот посредник отправляются все запросы, и он следит за их исполнением (в случае ошибок, пересылает заново, и тд).
Также например при обращении к нему этот посредник начинает считать количество обращений в течении одной секунды-> после 3х обращений, начинает через паузы в 1 секунду например отправлять дальше запросы)
как только, обращений меньше одного в секунду, счетчик сбрасывается.
В целом такой подход позволяет например по 3 обращений моментально делать, и только потом включать паузы, а также следить за исполнением этих запросов, без необходимости реализации такой логики непосредственно в самих вызовах.
Ну и конечно если у тебя такие потребности, то пора уже про пхп забыть)