Я очень надеялся на RabbitMQ, но это не совсем то, что мне нужно. Много наворотов
Есть какой-то планировщик задач попроще, чтобы передал http-запрос в качестве параметра, далее сразу (либо через некоторый промежуток времени) этот планировщик запрос отправил, подождал результат, отправил следующий и тд?
Есть вариант написать такой на java - стоит ли затеваться?
Atllantis: давайте так. "крайне не рекомендуется" - это стериотип. Вполне себе можно, сдобрив сверху supervisord-ом каким и ограничив лимит по памяти на случая течки (иногда случается, так как похапэшники не сильно запариваются о таких вещах). Но в целом у меня вот скриптики месяцами крутятся и все хорошо. Перезапускаются только при деплое.
ну и да - очередь то скорее всего на чемт-то надежнее написано и воркеры как были stateless так и остаются.