Как запустить большой парсер PHP?

Question

[aleksandrozz]

Здравствуйте!

У меня есть парсер написанный на PHP с использованием библиотеки Simple HTML DOM. Запускаю скрипт через CRON. По ходу выполнения скрипта выдает 502 ошибку.

Сам скрипт такого плана:

$page_list = 30; // значение переменной парсится

for ($i = $page_list; $i > 0; $i--) {
  foreach ($products as $product) { // 60 товаров на странице
    // Открываем каждый товар и парсим данные
  }
  
  // В среднем на парсинг одной страницы (60 товаров) уходит 30 секунд
}

Подскажите, как лучше запускать такой скрипт, чтобы он отработал до конца?

Answer 1

[Евгений]

через консоль

Comments

[aleksandrozz]

Я запускаю так: /usr/bin/wget -O /dev/null "script.php" через CRON
Поддержка говорит, что ограничений по времени выполнения скрипта нет. В чем будет преимущество запуска через консоль?

[Евгений]

aleksandrozz,
видимо у wget есть какие-то ограничения
запускайте тогда из cron так:
/usr/bin/php путь до папки скрипта/script.php

[aleksandrozz]

Спасибо, попробую)

[Алексей]

aleksandrozz, кстати код

$page_list = 30;
for ($i = $page_list; $i > 0; $i--) {

проще заменить на

$page_list = $i = 30;
while ($i--) {

Answer 2

[Александр Таратин]

// Открываем каждый товар и парсим данные

Тут можно оптимизировать. Можно качать параллельно.
https://github.com/chuyskywalker/rolling-curl
Ну и конечно запускать скрипт как консольное приложение. Вы же похоже через wget или curl какой-нибудь запускаете.

Comments

[aleksandrozz]

Спасибо, почитаю. Запускаю да, через wget, это не очень хорошо как я понимаю?)

[Александр Таратин]

aleksandrozz, Да. Идет доп оверхед на запуск самого wget и веб сервера.

[DevMan]

Дело не только в лишнем оверхеде: пых запускается через веб-сервер и поэтому убивается по таймауту.