Как сделать большое количество запросов?

Question

[Messi]

В базе есть 1500 записей. Нужно работать с API используя данные записи. То есть к API идет задача получить данные между двумя записями 1 и 2, следующий запрос 1 и 3, 1 и 4, 1 и 1500, 2 и 1, 2 и 2 и тд, пока не будет 1500 и 1500.
Получается что у меня будет 2 250 000 GET запросов.
В API есть ограничение на 15 000 запросов в сутки да и долго это ждать пока обрабатывается такое количество запросов по одному.
Можно ли как-то отправить за одни запрос больше одного условия или как это всё можно оптимизировать?

Answer 1

[Павел Волынцев]

Мне кажется, 2 250 000 HTTP запросов - это очень нехорошая архитектура. Мало того что сервер опухнет, так и клиент не дождётся. Один запрос предположим 3ms (очень оптимистично, прям идеально), тогда всё вместе будет 6750s или 112 минут. Два часа непрерывной долбёжки по API без таймаутов.

Предлагаю перенести логику либо в клиентское приложение (кто хочет сделать 2М запросов) либо в серверное (которое должно вернуть 2М запросов).

Либо пусть клиент получает сразу 1500 записей целиком или порциями и самостоятельно анализирует.
Либо пусть сервер подготавливает данные в нужном виде.

Если считаете, что не барское это дело серверу делать бизнес-аналитику, то разработайте промежуточный микросервис, который получит 1500 записей из исходного сервиса и подготовит выгрузку в нужном формате для клиента. Три звена.

Comments

[Messi]

API сервиса, не мое. Поэтому изменений в API сделать не могу.

[Павел Волынцев]

Messi:
Многие API сторонние "шейпят" трафик. За 2М запросов могут навсегда в чёрный список включить.
Иные выставляют счёт в зависимости от нагрузки. За 2М запросов в течении двух часов тебе выставят круглую сумму или предложат перейти на дорогой план.

Попробуй сделать 1500 запросов к этому сервису, чтобы получить нужные данные, а потом сравнивай их между собой в своём приложении.

Упомянутый multicurl позволяет выполнять запросы пакетно, но значительно время не сократит.
Пример библиотеки (не очень свежая, за стабильность не отвечаю) https://github.com/jmathai/php-multi-curl

Answer 2

[entermix]

Используйте сервер очередей типа Gearman, или RabbitMQ, чтобы параллельно выполнять множество операций

Comments

[Messi]

Что даст сервер очередей? Можно, пожалуйста, подробнее

[entermix]

Messi:

Что даст сервер очередей? Можно, пожалуйста, подробнее

Используйте сервер очередей типа Gearman, или RabbitMQ
чтобы параллельно выполнять множество операций

Более подробной информации в сети предостаточно

https://habrahabr.ru/company/mailru/blog/216363/
https://ruhighload.com/index.php/2009/05/15/%D0%BE...
https://ruhighload.com/index.php/2010/07/09/gearma...

Так же есть multi curl, чтобы выполнять несколько запросов одновременно.

Кроме того, есть возможность использовать прокси сервер, чтобы обойти текущие ограничения API (если они по IP)

[Messi]

1. С прокси не получится, там используется API_KEY пользователя.
2. Multi Curl попробую.
3. Про очереди знаю, просто не понял смысла, ведь это никак не обойдет лимит в день.

[entermix]

Messi: Ну ограничение Вы никак не обойдете в таком случае, но быстро выполнить пачку запросов это поможет.