Как разделить парсинг на этапы?

Написал парсер. Берет ссылку из .csv файла, ищет другие ссылки, записывает все в новый .csv файл.

Ссылок в начальном файле около 200. В итоге скрипт работает долго. Но отрубается с ошибкой 504. Хотя я увеличил время работы скрипта до бесконечности в php.ini.

Вопрос. Как сделать так, чтобы парсер парсил поэтапно. Чтобы я видел что первая ссылка успешно прошла парсинг. И чтобы не было ошибки 504? Ajax-ом если что пользоваться могу. Понимаю как получать данные в обратную сторону и выводить на экран.

Вопрос в том - как сделать так, чтобы .php файл парсера запускался каждый раз заного?
  • Вопрос задан
  • 102 просмотра
Решения вопроса 1
DmitriyEntelis
@DmitriyEntelis
Думаю за деньги
504 это gateway time-out - значит перед вашим php стоит какой-то сервер который все-равно имеет таймаут и по этому таймауту останавливает выполнение.

В любом случае запускать любые скрипты парсинга через браузер - это очень плохая идея.
Зайдите через консоль и запускайте как консольный скрипт.
Ответ написан
Пригласить эксперта
Ответы на вопрос 3
@constintmid
Laravel vue.js
Используй try catch исходя из того какую версию ты php юзаеш лови ошибки с помощью Exceptioon или Throwable При вылове ошибки обрабатывай ее там же ты можешь перезапустить все очень легко и не надо упарыватся.
Вылови ошибку напиши как ее обрабатывать судя по всему у тебя не такой большой пул их будет
Ответ написан
@oxidmod
Нужно паралелить обработку ссылок.
Ответ написан
hack504
@hack504
Вроде-бы за'loop'ить можно в цикле с использованием ob_start() и ob_get_clean().
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы