Как лучше разбить скрипт?

Здравствуйте,
Есть php скрипт который запускает через консоль phantomjs, необходимо парсить страницы раз в несколько минут. Страниц ~500, на каждую страницу по 2 секунды, как лучше всего разбить скрипт?
Есть идея:
1) Разделить на несколько партий и запускать последовательно, по времени тоже самое
2) Разделить на партии, но запускать сразу несколько заданий.
3) Использовать какой-нибудь обработчик, заносить Url в БД/память/файл, и по 1 одному обрабатывать
  • Вопрос задан
  • 216 просмотров
Пригласить эксперта
Ответы на вопрос 3
profesor08
@profesor08 Куратор тега PHP
Без конкретики косаемо всего, можно только угадать то, что вы хотите. Хотите, делайте одно задание и выполняйте его, либо делайте несколько, зависит от реализации скрипта, возможностей планировщика и ваших возможностей.
Ответ написан
index0h
@index0h
PHP, Golang. https://github.com/index0h
Запустите 20 обработчиков через supervisor (будет мало - докиньте еще), для каждого по выделяйте свой список урлов, собсно все. П - Параллелизация
Ответ написан
Комментировать
webinar
@webinar Куратор тега PHP
Учим yii: https://youtu.be/-WRMlGHLgRg
Сервер очередей подойдет? https://yandex.ru/search/?text=сервер%20очередей%2...
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы