Есть у меня такой проект, который связан с VK API и доступен он для всех желающих. Он автоматизирует работу администрации сообществ ВК. Пользователи на сайте делают настройку своего аккаунта, подключая свое сообщество, а я в свою очередь с помощью cron`а каждую минуту обрабатываю этот скрипт, который с помощью цикла поочередно берет каждое подключенное сообщество и выполняет какие-то действия.
Таким образом для одного сообщества обработка этого скрипта занимает в среднем от 2 до 7 секунд. Получается так, что это время выполнения скрипта с каждым новым пользователем суммируется и при максимальных настройках с средней скоростью 7 секунд для 10 пользователей будет уже 70 секунд. Такие отклонения более, чем на минуту уже частично нарушают работу, а если пользователей 100... 1000... и более, то это уже вообще выполнение будет длиться по нескольку дней.
Вопрос, каким образом это можно все оптимизировать? Чтобы это обрабатывалось все быстро, как при многопоточности, но при этом не создавая 100500 URL`ов для cron`a?
