Принудитальная очистка памяти PHP?

Question

[La2ha]

Столкнулся с проблемой, необходимо выполнить бесконечное количество итераций. Но с каждой итерацией возрастает количество потребляемой скриптом памяти. Вот небольшой тест.

public function memory()<br>
    {<br>
        $text = 'Много текста';<br><br>
        $baseMemory = memory_get_usage();<br>
        gc_enable();<br>
        for ($x = 0; $x++ < 100000;) {<br>
            Test::create($text);<br>
            if ($x % 500 === 0) {<br>
                echo $x . "\n";<br>
                echo get_file_size(memory_get_usage() - $baseMemory), "\n";<br>
            }<br>
        }<br>
    }<br>

Память поедает Test::create($text);



Понимаю что если там в деструкторе класса вызвать функцию очистки параметров, то потребление памяти не должно возврастать, но проблема в том что класс анследует класс фреймворка, который в свою очередь вызывает еще класс, в общем сного файлов фреймворка задейстовано, которые не хотелось бы изменять.

Answer 1

[La2ha]

Проблема решена. Был включен профайлер запросов к базе данных. Который сохранял все запросы в переменную.

Answer 2

[egorinsk]

Если у вас есть утечка памяти в PHP. то это, как правило не баг PHP. Наверняка где-то в библиотеке, которую вы используете, есть лог или кеш и он копится, не освобпждаясь (был случай, например, когда все SQL-запросы логгировались в массив, который никогда не очищался).

Например, есть такая библиотека phpQuery, когда-то я пробовал ей пользоваться, она потребляла память в немерянных количествах.

Также утекать могут расширения вроде DOM.

В общем, изучите код внимательно и поищите сомнительные места.

Хочется послать также лучей ненависти всем, кто, не разобравшись в проблеме, пишет глупости вроде «PHP течет». В PHP система управления памятью лучше чем в других языках, так как в нем есть и Copy-on-Write, и счетчик ссылок, и сборщик мусора. Не во всех языках это доступно.

Answer 3

[resurtm]

Мемлик где-то в сторонних библиотеках?

Comments

[La2ha]

Если мемлик — это утечка памяти, то да. Она накапливается с каждым запросом, во многих видел методы очистки памяти, которые успешно с этим справляются. Вот например.

function clear()
    {
        foreach ($this->nodes as $n) {$n->clear(); $n = null;}
        // This add next line is documented in the sourceforge repository. 2977248 as a fix for ongoing memory leaks that occur even with the use of clear.
        if (isset($this->children)) foreach ($this->children as $n) {$n->clear(); $n = null;}
        if (isset($this->parent)) {$this->parent->clear(); unset($this->parent);}
        if (isset($this->root)) {$this->root->clear(); unset($this->root);}
        unset($this->doc);
        unset($this->noise);
    }

А в моем случае изменение классов, которые я использую крайне нежелательно.

Answer 4

[return]

Можно попробовать периодически на каждую сотую итерацию

gc_collect_cycles()

Это — принудительный запуск Garbage Collector'а

Comments

[La2ha]

Применял даже на каждую итерацию — не помогло;

[return]

А если попутно еще и присваивать переменной, а потом ансетить результат Test::create?

[La2ha]

Но проблема вроде вот в чем:
Test::create получает PDOStatement, который затем читается в fetch(), но курсор не закрывается, поэтому запрос и весь его результат остаются висеть в памяти.
И gc_collect_cycles() для этого наверно не срабатывает.

[return]

Должен закрываться на уничтожении стейтмента, поэтому предложил делать unset

[La2ha]

я создавал объект и уничножал его через unset() и NULL тоже присваивал, результат тот-же

[return]

А если выделить отдельную функцию для выполнения сотни итераций и итерировать ее вызов в цикле, после запуска чего еще и чистку вызывать? :)

[La2ha]

если честно что не вижу разницы вообще между циклом в цикле и if ( $i % 100 === 0 ) gc_collect_cycles();

[return]

Попытка — не пытка. PHP уничтожает использованные переменные по выходу из функции. А это — разные с чисткой коллектора процессы.

Answer 5

[La2ha]

я создавал объект и уничножал его через unset() и NULL тоже присваивал, результат тот-же

upd: не туда

Answer 6

[WEBIVAN]

Писал я как-то дикое извращение, многопроцессную программу на PHP, так там каждый форк при итерации тоже безвозвратно отжирал память и количество итераций было непредсказуемым, потому условно стремилось к бесконечности.
Убил тогда день на поиск места утечки, потом забил.
Сделал что бы при съедении заданного объема памяти, програма завершалась и потом перезапускалась с того же места и так до бесконечности. Работает успешно по сей день.
Да изврашение, но в не факт что утечку вообще не удалось бы найти, ибо это PHP.
Мне вон приходится использовать в регулярка mb_ функции вместо preg_, поскольку не менее раза в неделю натыкаюсь на пары регулярка+страница в которых preg_ приводит к вылету php с segfault.

Comments

[La2ha]

Да, действительно, как вариант-очень даже ничего. Но я что-то не понимаю как полностью завершить, а потом запустить. Подозреваю что без bash тут никак?

[WEBIVAN]

У меня стоит запуск по крону каждую минуту.
При запуске программа создает файл типа /tmp/procname.pid, при завершении его удаляет.
Если при запуске программа видит, что файл существует — она не стартует.
Ну и отдельно где-то надо хранить позицию с которой продолжать.

Как альтернативный вариант, перед завершением дергать через неблокирующий запуск прямо из программы

execInBackground('/path_to_php/php /path_to_file/file.php');
function execInBackground($cmd) {
		if (substr(php_uname(), 0, 7) == "Windows"){
			pclose(popen("start /B ". $cmd, "r"));
		}
		else {
			exec($cmd . " > /dev/null &");
		}
	}

Answer 7

[KEKSOV]

Приведите пожалуйста минимально-законченный кусок кода с циклом, где Вы удаляете переменную при помощи unset

Comments

[La2ha]

public function memory()
    {
        $text = 'Много текста';
        $baseMemory = memory_get_usage();
        gc_enable();
        for ($x = 0; $x++ < 10000;) {
            $test_model = new Test;
            $test_model->create(array('f_1' => $text));
            unset($test_model);
            if ($x % 500 === 0) {
                gc_collect_cycles();
                echo $x . "\n";
                echo get_file_size(memory_get_usage() - $baseMemory), "\n";
            }

        }
    }

Класс Test это модель фреймворка Laravel laravel.com/docs/database/eloquent

[KEKSOV]

Возможно, я параною, но замените пожалуйста строчку $test_model->create(array('f_1' => $text)); на что-то типа $test_model->create( $myArray) и $myArray = array('f_1' => $text); вынесите за пределы цикла. Какие результаты?

[La2ha]

Результаты те-же, ну и конечно это в этом примере мы тоже себе позволить такое, в реальном коде так конечно не прошло бы)).
Буду лазить по классам фреймворка и искать проблему, т.к. с моим кодом по мойму все в порядке. Т.к. этот код по сути воспроизводит вот этот пример.
php.net/manual/ru/features.gc.performance-considerations.php
Который у меня отработал как надо(зеленая линия)

[KEKSOV]

Посмотрите, не увеличивается ли число открытых соединения к БД на каждом объекте. Вряд ли, конечно, но вдруг… И если там внутри происходят select, то освобождаются ли потом результаты. Что у них там yf уровне работы с базой, PDO?

[KEKSOV]

И, кстати, в Ваших тестовых снипетах неявное создание массива есть. В реальном тестовом скрипте этого точно нет?

[La2ha]

В коде еще не копался, усердно, но сейчас начну, да, вроде PDO. В общем думаю без вмешательства в код фреймворка врядли что-то получится, т.к. у себя в методе уже все возможные способы перепробовал вроде. Так что наверно тему можно закрывать. Т.к. надеялся что есть решение сбросить все из моего скрипта. Но оказалось что нет)

[La2ha]

И неявное создание массива это EOT что-ли? Сейчас его в коде нет. Но в любом случае хоть в какой-то версии его(неявного массива) не было, т.к. перепробовал огромное количество разного оформления этого кода.

[KEKSOV]

По идее, надо добраться по коду до их самого нижнего уровня и, гоняя в цикле их фрагменты, последовательно подниматься вверх по API, пока не наткнешься на кусок, который течет. Да, та еще работенка…

Как говорил начальник ЖЕКа сотрудникам сантехнического отдела перед началом смены — Good luck with leak hunting! :)

[La2ha]

Ну да, по идее все именно так) Спасибо за помощь.

Answer 8

[Иван]

Тоже в свое время долго игрался с потребляемой памятью в циклах, причины так и не нашел.
Как вариант решения — nohup, практически аналог форка, но новый процесс запускается независимо, ему можно передать текущий итератор цикла и в принципе любые парамеры.

В цикле можно проверять, сколько памяти использовано, и установить планку в N байт/КБ/МБ, как только память начинает приближаться к лимиту, брейкаем цикл и запускаем процесс через nohup с новыми параметрами.