API Вконтакте: как эффективней всего организовать очередь запросов?

Question

[A_Lincoln]

Привет.

Появилась задача собирать данные с пабликов Вконтакте. Пабликов будет много, 300+. То есть, это как минимум 300 запросов пачкой. Нужно собирать самые свежие за день - ночью.
Посмотрел в доку API на лимиты, вроде могу влезть, с этим ок. Хотя не знаю как может повести себя при таком ко-во.

wall.get — 5000 вызовов в сутки.

Сейчас ищу хорошее решение и правильные стратегии на PHP, как эффективней всего реализовать задачу.

Что посоветуете?

Comments

[Max Payne]

Ограничений на количество вызовов в сутки нет. Откуда такая информация?

[Danil Sapegin]

Посоветую не тратить время на прямое api вконтакте и искать альтернатимные способы забора инфы для этого метода
Делали такой же опрос этого же метода и при превышении лимита 1 запрос в секунду (по оф докам 3 запроса в секунду) и если спрашивать часто (несколько раз в час) данные с одной группы, то на группу накладывается бан на сутки на этот метод.

Была ситуация, я тестировал сбор данных с этим методом с выданным на свой аккаунт ключём. Превысил лимиты вышеназванные (на самом деле не превышал) и мой аккаунт попал в немилость. Зайдя в ВК с мобилы посмотреть ленту мне показало фигу, хотя лента друзей никак не относилась даже к тестируемой группе.

Answer 1

[ivankomolin]

1. Соблюдать лимиты. Не более 3х запросов в секунду. Лимиты выдаются на аккаунт. Если не хватает, добавить несколько аккаунтов(несколько sim на разные лица) + прокси на каждый, чтобы не забанили всю пачку аккаунтов.
Также есть количественные лимиты, но о них ничего не известно, так что злоупотреблять вызовом одного метода на аккаунт не стоит.
2. Посмотреть в документации метод execute, позволяет обратиться к пачке методов в одном запросе.
3. Посмотреть в сторону Callback API или Bots Long Poll для уменьшения числа запросов(Пуш данных при возникновения событий в сообществе вам на сервер)