Как лучше реализовать бесконечную очередь заданий?

Суть такова - мне необходимо проверять определенные страницы на различных сайтах. Непрерывно и по очереди. Когда очередь доходит до конца, то снова начинается с первого задания. Должна быть возможность добавлять новые задания, менять задания местами и удалять их. Соответственно вопрос, как это лучше реализовать? Я знаю PHP и ActionScript (более менее близок к Java), но насколько я понимаю, они для таких целей подходят плохо. Сами задачи достаточно простые, я думаю, что не будет большой проблемы реализовать их на любом языке, соответственно нужно выбрать наиболее подходящий. Работать должно на Debian. Посоветуйте, пожалуйста, какие-то конкретные связки, которые посчитаете наиболее подходящими для такой задачи.
  • Вопрос задан
  • 2393 просмотра
Решения вопроса 1
@algebris
Javascript Full Stack Developer, UNIX expert
можете использовать Node.JS и проверять не только поcледовательно, но и параллельно, то-есть асинхронно :) Если знаете PHP, то могу предположить, что и c Javascript знакомы :)
https://github.com/request/request - вот этим можете делать запрос к странице
https://github.com/cheeriojs/cheerio - вот этим её парсить
Ответ написан
Пригласить эксперта
Ответы на вопрос 3
Sanasol
@Sanasol Куратор тега PHP
нельзя просто так взять и загуглить ошибку
"Связка": crontab, php

И база с заданиями, тут уже сами придумаете как оно должно быть.
Ответ написан
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
Запускаете +1 процесс php в бесконечном цикле с инклудом. Далее в любой момент времени редактируйте файл-инклуд. В него включаете мультипоточный curl. (см. документацию) и т.д.
Ответ написан
например

$currentTask = 0;
$allTasks = 1000;

$currentTask++;

if($currentTask == $allTasks) {
$currentTask = 0;
}
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы