Как оптимизировать скрипт?

Question

[snovazabilparol]

Есть скрипт, который работает в фоновом режиме. Работает "бесконечно" долго, остановиться должен лишь когда сам того пожелает, то бишь при выполнении условия N.
Общая суть такова:
1. Обращаемся через Curl к ПУ сервиса N, который не имеет никакого API.
2. Берем данные, с помощью PHPQuery вытаскиваем что нужно в массив.
3. Проводим проверки на соответствие и на ошибки.
4. Пишем данные в файл в текстовом формате с помощью file_put_contents.
5. Проверяем достижение условия N.
5. Повторяем операцию снова и снова и снова...

Вопрос состоит в следующем. Скрипт вылетел через какое-то время с ошибкой Fatal error: Out of memory.
Прописал в начало скрипта:

ini_set('xdebug.remote_autostart', 0);
ini_set('max_execution_time', 0);

Не помогло, хотя от предыдущей ошибки max_execution_time избавился, XDebug как оказалось, не выключился, как ожидалось и все это время ужасно тормозил и без того медленный скрипт.
Можно конечно выставить: ini_set('memory_limit', -1); но это не решение проблемы.
Где-то происходит утечка памяти, может нужно очищать переменные и цикл после итерации, может нужно вместо file_put_contents использовать fopen?
Может вы знаете что-то еще, что может влиять на память, буду рад услышать любой совет.

Comments

[Вячеслав]

Нужен код

[snovazabilparol]

Вячеслав, Код причешу и выложу. Apache раздувается на глазах, скоро будет весить как PHPStorm, какой ужас.

Answer 1

[Demian Smith]

Должен вас огорчить, но фраза "пхп создан для того чтобы умирать" относится как раз к вашей проблеме. В ядре самого языка не предусмотрен сценарий "вечной" работы скрипта. Память расходуется неэффективно и Fatal error: Out of memory - это то что ждёт ваш скрипт при любом раскладе.

Самое простое решения в вашем случае: дёргать ваш проверочный скрипт кроном (cron). Скажем, каждую минуту, давать ему отработать и умереть. И так каждую минуту.

Comments

[snovazabilparol]

Интересно, сейчас Apache работает на 800+к памяти, у меня ее не так много, зачем, нет не так, ЗАЧЕМ ему столько памяти на простой парсинг 4-х значений и запись в файл? (дополнил ответ скриптом).

[snovazabilparol]

И да, что делать если мне нужно спарсить 70к+ значений? Переписывать на C#?

[Demian Smith]

snovazabilparol, потребление памяти - это так называемый trade-off в пхп. Разработчики абсолютно об этом не беспокоились, для того чтоб сконцентрироваться на других аспектах языка. Каждый запрос к серверу апача порождает новый процесс операционной системы. Как только процесс выдаёт тело ответа, он будет убит, а вся память, выделенная под процесс, освобождена. В рамках процесса, пхп скрипт бесконтрольно разрастается, но идея в том что время запроса к веб серверу не должно превышать нескольких секунд. Просто смиритесь с этим фактом, тут ничего не поделать. Нельзя заставить пхп скрипт работать бесконечно. Он сожрёт всю память и будет убит.

Немного оффтопа. Именно по вышеописанной причине в продвинутом мире разработки, выбор ПХП, как основного языка системы, считается моветоном. Любая разрастающаяся система рано или поздно приходит к тому, что нужно что-то обрабатывать в фоне и тут ПХП всегда проигрывает, практически, любому другому языку. Но любим мы его совсем по другим причинам.

[Demian Smith]

> И да, что делать если мне нужно спарсить 70к+ значений? Переписывать на C#?

Всегда можно выкрутиться. Парсить порциями, например. Но это будет выглядеть как жалкое зрелище, вызывая улыбку умиления у других не-пхп программистов.

[snovazabilparol]

Demian Smith, А как же онлайн парсеры на PHP которые продаются на форумах?

[Demian Smith]

Как-то выкручиваются.

Ради интереса, попробуйте запустить у себя этот код:

<?
while (true) {}
?>

И посмотрите на потребление памяти. Сорри, я сейчас не за компьютером. Аж самому интересно. Но по данным разведки, должно расти стабильно.

[snovazabilparol]

Demian Smith, А может можно как-то принудительно заставить сборщик мусора работать и освободить память?

[Demian Smith]

Сорян, без вариантов. Пхп не жилец.

Мне кажется, что этим тредом я ввёл вас в заблуждение. Пхп нормально справляется на большинстве конечных задач. 70к строчек это ок для него. Распарсить вебсайт тоже. А для постоянной работы в фоне он просто не предназначен.

[ApanzerOmaha]

<?
while (true) {}
?>

Я попробывал, у меня память не растет.

[Demian Smith]

ApanzerOmaha, значит я заливаю по поводу этого позорного теста. Спасибо что проверили.

[snovazabilparol]

Demian Smith, Сейчас в конце каждой итерации цикла, назначаю переменным = null и на каждой сотой итерации, вызываю метод gc_collect_cycles(); А еще в самом скрипте, в начале файла gc_enable(); Вобщем-то память всё равно растет но намного медленнее, однако я немного оптимизировал скорость работы и вобщем-то памяти теперь хватает.

[Demian Smith]

snovazabilparol, теперь уберите while (true) и, при помощи, например, вот такой утилиты https://stackoverflow.com/a/16577806/379949 и автоматически рестартуйте процесс каждый раз когда он завершается. Можно и оставить while (true), тогда, скорее всего, процесс будет автоматически рестартоваться при потери памяти. Но в этом случае ваши логи будут засоряться.

Answer 2

[Илья Герасимов]

у пхп есть понятие утечки памяти? да она может чем-то забиваться (уже ненужным) по мере работы скрипта, но в конечно итоге все сводится к смерти процесса и произойти это должно как можно скорее.
для твоей задачи можно взять nodejs + 2 библиотеки + 40 строк своего кода

Comments

[snovazabilparol]

В общем-то можно, но в таком случае, почему-бы не сделать тоже самое на C#?)

[Илья Герасимов]

snovazabilparol, ну это уже вам решать, на шарпе ни разу ничего не писал, но писал на плюсах поэтому мне кажется что для такой простой задачи нода зайдет очень даже

[snovazabilparol]

Илья Герасимов, Сейчас в конце каждой итерации цикла, назначаю переменным = null и на каждой сотой итерации, вызываю метод gc_collect_cycles(); А еще в самом скрипте, в начале файла gc_enable(); Вобщем-то память всё равно растет но намного медленнее, однако я немного оптимизировал скорость работы и вобщем-то памяти теперь хватает.