В большинстве случаев пишут.
Собственно для фоновых задач я и юзаю gearman. Впринцепи можно реализовать три воркера, один на запись, второй на чтение и третий на изменение что позволит не плодить большое кол-во соединений. Но будет создаваться очередь и соответственно будут задержки, а REST API может обрабатывать одновременно много запросов.
Сейчас 300 соединений висит постоянно, а так будет одновременно висеть по 20-50 соединений.
У меня каждый скрипт работает с отдельными данными, т.е. запускается сначала сбор данных со стороннего API, потом по этим данным производятся действия. И так много раз.
Переписать всю систему сложно ибо она большая, да и честно сказать не вижу удобных вариантов.
Не соглашусь с вами. Решения есть и это факт. Сервисы же как-то это делают?
По-поводу бана тоже не согласен, инстаграм не может забанить доступ к приватному API, т.к там не используются данные, типа секретный ключ приложения.
Погуглив, нашел статью https://statusengine.org/tutorials/gearman-to-many...
P.s. Достаточно выполнить первый пункт и перезагрузить сервер.