Как определить причину утечки памяти в PHP скрипте?

Question

[Илья Плотников]

Есть скрипт, который обрабатывает большое количество данных. Сделал unset переменных, которые больше не нужны на каждой итерации, но память продолжает утекать с бешеной скоростью. Есть ли способы определить источник утечки в коде?

Comments

[Илья Плотников]

Вопрос не заключается в поиске конкретной утечки, скорее, я хочу узнать как искать такие места.

Answer 1

[Евгений]

Какие библиотеки используются?
Могут давать утечку классы по ресайзу картинок, хмл парсеры итп.
Если юзается phpQuery в цикле, то
phpQuery::unloadDocuments()

Comments

[Илья Плотников]

О, спасибо. Не нашел этого в документации.

[Евгений]

посмотрите в сторону simplehtmldom.sourceforge.net/manual.htm
phpQuery давно не обновляется (с 2009)

[Илья Плотников]

Nc_Soft: Спасибо, попробую

Answer 2

[FanatPHP]

Есть.
Причина утечки - прокладка. Между стулом и монитором.
В данном случае причина -

Получаю массив записей из бд

Получать записи надо не массивом, а по одной.
И никакая память никуда утекать не будет. ДАЖЕ если не ансетить те переменные, которые и так будут перезаписаны при следующей итерации.

Comments

[Илья Плотников]

Я заметил существенную разницу в потреблении памяти после того, как сделал unset переменных, которые и так будут перезаписаны при следующей итерации
По поводу массива я огоровился. Конечно, я не записываю findAll в массив.

[Илья Плотников]

Однако я перебираю объекты с ссылкой и удаляю элемент из общего списка в конце итерации. Несмотря на то, что переменная будет перезаписана, общий список то увеличивается.

[FanatPHP]

"Не записываю в массив" но "удаляю из общего списка" - как это понимать? В общем, не держать в памяти больше одной записи -самый верный способ избежать "утечки" памяти.

[AlexChebanenko]

То есть Вы предлагаете делать 100500 селектов для извлечения 100500 строк из одной и той же таблицы?

[FanatPHP]

То есть ты других вариантов не знаешь?

[Максим Гречушников]

FanatPHP: он использует AR и устаревший фреймворк. Не грузи ему мозг.
AlexChebanenko: как варик разбей работу срипта на последовательности от 100 до 1000 итераций за раз. потом запускай занова, но с оффсетом на выполненные итерации.
память теряется в пхпквери. его уж тожно разбирать не будешь

[FanatPHP]

Максим Гречушников: Даже устаревший фреймворк позволяет не грузить все данные в память. Впрочем, все равно у него текла какая-то дремучая либа.

[Максим Гречушников]

FanatPHP: ставлю 90% на пхпквери. за yii за 5 лет не видел проблем. на днях в связке с битриксом поймал. битрикс в методе ciblockelement::update херачит память куда то

[Илья Плотников]

Максим Гречушников: Это почему фреймворк устарел? Потому что вторая версия вышла?

[Максим Гречушников]

как минимум да

Answer 3

[Andrew Ushchenko]

Код в студию.

Comments

[Илья Плотников]

К сожалению, не могу. Могу сказать лишь то, что это Yii 1, использую ACtiveRecord и phpQuery. Получаю массив записей из бд, каждая запись около 1-4 кб. Обрабатываю текст с помощью phpQuery, делаю записи в бд. Каждую итерацию удаляю все переменные, с которыми работал. Так же удаляю элемент из массива результатов.

[Илья Плотников]

Рекурсию не использую.

[Илья Плотников]

Есть подозрение, что phpQuery не чистит свои переменные