Почему возникает ошибка Maximum execution time exceeded?

Question

[Konyuh]

В php логах сайта имеется строка PHP Fatal error: Maximum execution time of 120 seconds exceeded
Минут через 10-15 работы останавливается скрипт (но никак не через 120 секунд, как указано в логах). При этом, в php.ini менял значение max_execution_time на 86400 секунд, также в самом php-скрипте в начале указано ini_set('max_execution_time', '86400') - никак не помогает.
В чем может быть причина остановки скрипта и появления данного лога? Где искать причину?

Comments

[Ivan Ustûžanin]

Где искать причину?

в коде

а по существу без дополнительных данных ничего сказать нельзя, это как "чему равен Х" без дополнительной информации

[Дмитрий]

Скорее всего ваши настройки не применяются, ошибка верная, скорее всего в коде какое то тяжёлое действие в цикле

[Konyuh]

Дмитрий, да, это парсер и в нем есть цикл, в котором обрабатывается (парсится) 1692 товара. Но почему появляется ошибка с таймаутом в 120 секунд? Вот это непонятно.
Обратился уже и в техподдержку VPS, на котором сам сайт, жду отклика от них...

[Дмитрий]

Konyuh, появляется она раньше,просто цикл уже в процессе

[Олег]

Konyuh, в PHP time limit не учитывает время ожидания сетевых запросов.
Например, поставив лимит времени исполнения в 25 секунд, можно спокойно увидеть как скрипт отвалилися только на следующие сутки при запросе почты по pop3 :)

[Виктор Кожухарь]

Может, в коде где-то затесалось что-то подобное?

ini_set('max_execution_time', 120);

[Konyuh]

Виктор Кожухарь, в том то и дело, что абсолютно нигде такого нету. И в php.ini задержек в 120 секунд тоже нет...

[Виктор Кожухарь]

Konyuh, Хостер может игнорировать все ваши настройки

[Konyuh]

Виктор Кожухарь, все верно - ответила техподдержка хостинга и выяснилось, что max_execution_time в 120 секунд было задано в fastpanel, которая установлена на сайте. Поменял на 86400 сек., теперь работает как надо)

Answer 1

[Олег]

Нужно катать сферические шары в вакуме. Их 1000 штук. Работник каждые 30 секунд уходит покурить.
Один шар он перекатывает за время от 1 до 3х секунд (то есть нет равномерности).

Запрещаем ему курить пока не перекатит все. А он сволочь такая лажает постоянно.
Решение
Вместо цикла
для всех шаров с 1 по 1000 делай катать
пишем
Напиши на доске номер шара - 1
Цикл
прочитай номер шара
засеки время
откати шар
он 1000 - й , то ты свободен
посмотри время
если прошло больше 25 секунд, то запиши номер следующего шара и иди курить

Comments

[Konyuh]

Вы под чем вообще?

[Олег]

вместо того чтобы крутить цикл по всем за один проход,
задачу нужно решить через последовательные запуски (запоминая номер итерации или реализовать очередь заданий)

[Konyuh]

Олег, понял. Ну это вариант с переработкой всего проекта в корень, нужно устранить баг что есть. Может, в том же php.ini есть настройка еще других таймаутов? Хотя посмотрю, что еще техподдержка хостинга ответит..

[Олег]

Konyuh, переделка в 5 строк.
любой цикл от и до элементарно переделывается в
получи начальное значение (вместо жесткой единицы)

[Konyuh]

Олег, а вот это уже интересно...
Не могли бы Вы просто скинуть ссылку на обычный гайд по консолям или очередям, или о чем там речь в том примере про шары? Как нужно это все переделать и на какую это тему вообще?)

[Олег]

Konyuh, я не люблю граберов . Просто ваш кривой скрипт создавал лишнюю нагрузку из за запусков ещё и повторно после ошибок.

Answer 2

[Ипатьев]

Потому что долгоиграющие задачи надо выполнять не через браузер, а в консоли.
Либо ручками, либо по крону (ну или через очереди, но этот вариант явно не соответствует уровню вопроса).

Comments

[Konyuh]

Это сайт облачный онлайн парсер интернет-магазинов для всех желающих, какая консоль?

[Ипатьев]

Обычная. С фоновыми задачами

Answer 3

[Антон Шаманов]

зависит от среды в которой выполняется скрипт, если это какой-нибудь ВХ, то он вполне может переопределять ваши настройки - проверить можно банальным phpinfo()
что же до самой задачи, то проще разбить её на шаги и создать long controller: допустим нужно спарсить 10к страниц - отправляем запрос к LongController::startAction() который записывает данные в очередь/базу, далее ajax'ом вызываем LongController::stepAction() который выполняет столько шагов сколько успеет (допустим за минуту - значение берется из расчета max_execution_time / 2) и так до тех пор пока метод не вернет сообщение что задача завершена. Пример реализации для Yii2

Answer 4

[Михаил Ливач]

Минут через 10-15 работы останавливается скрипт (но никак не через 120 секунд, как указано в логах)

Посмотрите примечание в мануале, там всё описано. Несколько неудобно, что это примечание не продублировано в описании max_execution_time , но уж как есть