Как одновременно запустить 1500 ботов, выполняющих http запросы?

Question

[ClydeBarrow]

Здравствуйте. Есть какие-то знания php. Бот выполняет get запрос, на его основании шлет post запрос, и так в бесконечном цикле. Так же необходимо высчитывать/выдерживать паузы в секундах у каждого отдельно, чтобы не попадать под ограничения api. Необходимо запустить 1000-2000 независящих друг от друга таких ботов-воркеров, работающих параллельно, влияние на скорость друг друга должно быть сведено к возможному минимуму. В какую сторону копать? При этом как высчитывать интервалы у каждого бота отдельно не используя sleep? Допустим я буду стучаться с каким то интервалом в милисекундах в redis и проверять время жизни ключа. Но на чем реализовать параллельную работу такого количества ботов? Может вообще подумать об одном процессе вместо кучи параллельных? Может копать в сторону rabbitmq... Не хватает опыта, чтобы представить, спасибо за ответы.

Comments

[Everything_is_not_so_bad]

Необходимо запустить 1000-2000 независящих друг от друга таких ботов-воркеров

Путем каких расчетов?

Answer 1

[Сергей Соколов]

Если с PHP, то я бы делал это в Swoole: там и свои таблицы-в-памяти, и корутины, чтобы «сон» не тормозил остальных, — и вообще полезный опыт.

P.S. не надо заниматься спамом, накрутками и прочим абьюзерством!

Comments

[ClydeBarrow]

Спасибо за ответ, слышал о Swoole но не изучал еще, как раз, видимо, повод.
P.S. Цели не относятся к паразитным, копаю в сторону ботов для бирж =)

[Игорь Маркин]

ClydeBarrow, в любом случае упрётесь в ограничение IO. Я делал бота, который работал с API Тинькофф Инвестиций. Дробил бота на потоки и замерял скорость выполнения. По сути, работая в два потока скорость была порой даже выше, чем при работе в 4 потока. Однако, я работал в 4 как раз для подмены IP и обхода ограничений.