Как разделить парсинг на этапы?

Question

[Вадим Тимошенко]

Написал парсер. Берет ссылку из .csv файла, ищет другие ссылки, записывает все в новый .csv файл.

Ссылок в начальном файле около 200. В итоге скрипт работает долго. Но отрубается с ошибкой 504. Хотя я увеличил время работы скрипта до бесконечности в php.ini.

Вопрос. Как сделать так, чтобы парсер парсил поэтапно. Чтобы я видел что первая ссылка успешно прошла парсинг. И чтобы не было ошибки 504? Ajax-ом если что пользоваться могу. Понимаю как получать данные в обратную сторону и выводить на экран.

Вопрос в том - как сделать так, чтобы .php файл парсера запускался каждый раз заного?

Answer 1

[Дмитрий Энтелис]

504 это gateway time-out - значит перед вашим php стоит какой-то сервер который все-равно имеет таймаут и по этому таймауту останавливает выполнение.

В любом случае запускать любые скрипты парсинга через браузер - это очень плохая идея.
Зайдите через консоль и запускайте как консольный скрипт.

Comments

[Вадим Тимошенко]

Запускаю теперь так:

php parser.php

Скажите, а в чем плюс? Это быстрее? Браузер останавливает из-за своих ограничений скриптов, поэтому пользоваться лучше консолью?

[Дмитрий Энтелис]

Вадим Тимошенко, когда вы смотрите через браузер:
- вы не видите вывод скрипта до самого его завершения (если специально не вызываете ob_flush + зависит от настроек сервера)
- От вас до скрипта какое-то количество веб серверов (nginx, apache и т.д) которые могут обрубать по таймауту. Это лишняя точка отказа. Даже если нет - вы занимаете поток сервера.
- вы не можете убить выполнение скрипта в любой момент.

когда вы выполняете из консоли, все с точностью наоборот.
даже ошибка скрипта выведется не в логи веб сервера, а прямо в консоль что очень удобно.

Answer 2

[Александр Шведов]

Используй try catch исходя из того какую версию ты php юзаеш лови ошибки с помощью Exceptioon или Throwable При вылове ошибки обрабатывай ее там же ты можешь перезапустить все очень легко и не надо упарыватся.
Вылови ошибку напиши как ее обрабатывать судя по всему у тебя не такой большой пул их будет

Answer 3

[hack504]

Вроде-бы за'loop'ить можно в цикле с использованием ob_start() и ob_get_clean().