Почему «тяжелый скрипт» выполняется через раз?

Question

[denis_druid]

Здравствуйте. Помогите решить вот что:
Есть скрипт парсера, собирает и прогоняет через различные фильтра очень много текста, потом всё это дело льет в БД, старые данные из БД чистит и всё в таком духе.
Выполняется примерно 5 минут.
Проблема в том, что каждый второй или третий раз он обрабатывает только половину данных.
Пример:
1-ый запуск: добавлено 310 записей
2-ой запуск: добавлено 108 записей
3-ий запуск: добавлено 311 записей
4-ый запуск: добавлено 327 записей
5-ый запуск: добавлено 113 записей
6-ой запуск: добавлено 324 записей
и тд.
300+ записей это норма, столько и должно быть. Но каждый раз, когда он "не дорабатывает", то записей всегда получается примерно 100 (106, 104, 108 и тд.).
Сначала я грешил на cron, что где-то там затык происходит, сутки его ковырял. Но пару раз сегодня такое наблюдал и при запуске скрипта вручную через браузер. Ощущение, что где-то забивается какой-то кэш, а потом обнуляется спустя некоторое время. Но возможно что-то еще.
Куда копать?

Comments

[Сергей Соколов]

смотреть логи PHP, записи про нехватку памяти

[denis_druid]

В логе падений по памяти нет.

[denis_druid]

Третий день тестов показывает, что такие затыки происходят по утрам с 9 до 11. Возможно ресурс, с которого идет парсинг нагружает себя своими скриптами? Либо люди приходят на работу и что-то делают, запускают какие-то сервисы.

Answer 1

[denis_druid]

Итак, проблема решилась следующим образом:
Как я писал выше в комментах, недоработка скрипта происходит только в определенные часы по утрам. Скорее всего удаленный сервер, с которого идет парсинг, в это время загружается служебными задачами, что увеличивает время отклика.
В логах моего сервера никаких ошибок не было. Видимо, не отвечал как надо именно удаленный сервер.
Решение пришло после изменений в этой строке:

curl_setopt($ch, CURLOPT_TIMEOUT, 60); // изначало было 10, потом 30 (30 сек тоже не хватило)

с 60 секундами проблема ушла совсем.

Answer 2

[Сережа Ахен]

Смотреть логи, график сервера по памяти.
Но обычно все дело в лимите времени работы скрипта (опять-же в логах должна быть соответствующая ошибка, навроде The process *** exceeded the timeout of 60 seconds), лимит устанавливается чтобы зависшие скрипты убивались автоматом. Решается в php.ini, пункт max_execution_time в секундах.

Comments

[denis_druid]

Скрипт выполняется через раз. Каждый раз одинаковое время затрачивается. И при успешной отработке и при неуспешной.

[Сережа Ахен]

denis_druid: ну бывает. Можно сидеть гадать, а можно использовать аналитические инструменты и понять в чем дело.

[denis_druid]

Сережа Ахен: так подскажите какие :) Знал бы - не просил помощи.

[Сережа Ахен]

denis_druid:

Смотреть логи, график сервера по памяти.

.
Я же не знаю как у вас сервер настроен, быть может логи даже не пишутся, а быть может стоит исп/веста панелка с доступом к логам из веб интерфейса.

[denis_druid]

isp manager, да.

Answer 3

[Wexter]

1) не хватило памяти, смотрите логи
2) не хватило времени, опять же смотрите логи