Как отучить php сжирать память?

Question

[MuTaToRage]

Здравствуйте, появилась задача написать парсер который будет очень долго работать. И работать он будет с массивами объектов добавляя и удаляя их.
Так вот, обнаружил я что в разное время он падает от пересжирания памяти, и решил я изучить вопрос.
Написал тестовый код, который сказал мне что я не разбираюсь в php.

<?php

$start = 0;
$start = memory_get_usage();
print 'start script:'.number_format(memory_get_usage()-$start)."\r\n";
class A{}
print 'declare class:'.number_format(memory_get_usage()-$start)."\r\n";


$arrayTest = [];
print 'create array:'.number_format(memory_get_usage()-$start)."\r\n";
for($i=0;$i<100000;$i++)
{
    $arrayTest[] = new A;
}
print 'insert Object to array:'.number_format(memory_get_usage()-$start)."\r\n";

for($i=0;$i<100000;$i++)
{
    unset($arrayTest[$i]);
}
print 'usnet elements of array:'.number_format(memory_get_usage()-$start)."\r\n";

unset($arrayTest);
print 'usnet array:'.number_format(memory_get_usage()-$start)."\r\n";

Вроде всё достаточно наглядно. память выделили, освободили. Всё должно прийти в ноль.
Но результат вышел совсем не такой какой я себе ожидал.

start script:0
declare class:88
create array:224
insert Object to array:15,086,176
usnet elements of array:4,686,136
usnet array:4,161,704

Изначально я подумал что проблема в работе с массивом. Но заменив объект на число результат такой

start script:0
create array:224
insert integer to array:8,524,656
usnet elements of array:524,600
usnet array:168

Кто знает как с этим бороться?

Comments

[Dark Hole]

Покормите его, он голодный

Answer 1

[zano3adev]

Фича PHP:
php.net/manual/ru/features.gc.refcounting-basics.p...

Решения:
1. Вместо объекта использовать массив.
2. Сериализация/Десериализация объекта.

class TestMemory
{
    protected $memory_start;
    protected $memory_filled_array;
    protected $memory_empty_array;
    protected $memory_deleted_array;

    protected $array;

    public function __construct()
    {
        $this->memory_start = 0;
        $this->memory_filled_array = 0;
        $this->memory_empty_array = 0;
        $this->memory_deleted_array = 0;
    }

    public function runTest()
    {
        $this->memory_start = memory_get_usage();
        $this->array = [];
        for($i = 0; $i < 10000; $i++)
        {
            $object = new stdClass();
            $object->property1 = $i;
            $object->property2 = 123;
            $object->property3 = str_repeat('Str', 100);

            $this->array[] = serialize($object);
            unset($object);
        }
        $this->memory_filled_array = memory_get_usage();
        for($i = 0; $i < 10000; $i++)
        {
            $object = unserialize($this->array[$i]);
            //$object; //do some
            unset($this->array[$i], $object);
        }
        $this->memory_empty_array = memory_get_usage();
        unset($this->array, $i);
        $this->memory_deleted_array = memory_get_usage();
    }

    public function printResult()
    {
        $result = '---Result---' . '<br>';
        foreach($this as $name => $value)
        {
            if($name !== 'array')   $result .= $name . ': ' . number_format($value / 1024 / 1024, 2) . 'MB.' . '<br>';
        }
        $result .= 'Memory leak: ' . ($this->memory_deleted_array - $this->memory_start) . 'Byte' . '<br>';
        echo $result;
    }
}

$test = new TestMemory();
for($i = 0; $i < 5; $i++)
{
    $test->runTest();
    $test->printResult();
}

Comments

[Дмитрий Евграфович]

Вы забыли упомянуть, что в итоге в массиве получается не 100000 объектов, а 100000 ссылок на один объект и если топикстартер вдруг решит хранить в данном объекте разные ссылки для парсинга, он будет неприятно удивлен тем, что его скрипт вместо того ,чтобы пройтись по всем ним вместо этого сто тысяч раз спарсит один урл (пишу потому, что не вижу иного сценария, где объект вставляется десять тысячи раз в массив, кроме как если в нем хранится разная информация).

[zano3adev]

забыл после присвоения по ссылке затирать переменную, но память не очищается в таком случае, обновил ответ.

[MuTaToRage]

Дмитрий Евграфович: вы не правы, в массивы попадают разные объекты. new же возвращает новый адрес памяти.

[Дмитрий Евграфович]

MuTaToRage: Там один и тот же объект, проверьте сами. У вас должен быть ответ от тостера в почте с тем кодом - вставьте в один из атрибутов объекта $i, а затем распечатайте весь итоговый массив через print_r.

[Дмитрий Евграфович]

MuTaToRage: new возвращает новый объект. Но в уже существующую переменную, а та задана в массиве по ссылке, поэтому когда вы переназначаете переменную, все ссылки на нее начинают указывать на новый назначенный объект.

[MuTaToRage]

Дмитрий Евграфович: В том то и дело что я проверил, у меня в конструкторе есть строчка
$this->id = uniqid('', true);
и я вывел все в новом цикле, все числа разные

[Дмитрий Евграфович]

MuTaToRage: https://yadi.sk/d/ClTJi8e33D4jRL

[MuTaToRage]

Дмитрий Евграфович: вот такой код :pastebin.com/t3QvJnfc
вот такой вывод: pastebin.com/kYESiVM4
Просто надо незабыть unset'ить

[Дмитрий Евграфович]

MuTaToRage: я вообще не понимаю смысла данного вами куска кода. Вы мне им что хотите показать, что при разыменовании переменной она очищается и остается лишь одна ее копия в массиве? Так я знаю это. Изначально речь шла не об этом, а о том, что ссылка на переменную якобы помогает избежать утечек памяти. А она помогает? Нет. И смысл ссылок совершенно не в этом. Они дают работать с одним и тем же объектом из любого места в коде, когда это нужно. И не нужно приписывать им чудесные свойства очищать память, когда сборщик мусора этого не делает. Отправьте на печать количество свободной памяти до заполнения массива разными объектами (то есть с ансетом и ссылкой, либо без ансета и без ссылки, в общем разными объектами, а не массивом, заполненным сотней тысяч ссылок на один объект) и количество памяти после ансета того же самого массива и вы увидите, что никакой экономии ссылки с ансетом вашим не дают. Php оставил эту память, как зарезервированную после очистки переменной, как товарищ zano3adev уже и добавил в комментарии чуть выше.

[MuTaToRage]

Дмитрий Евграфович: окей, и как избавиться от утечки? никак?

[Дмитрий Евграфович]

MuTaToRage: использовать ООП вместо процедурщины, отделить логику демона от логики парсера, разнести их по разным классам, вызывать парсер в виде функции внутри цикла демона и ничего из этой функции не выносить за ее пределы. Как вариант, запускать этот же парсер не из демона, а из крона с интервалом раз в 10 минут и ограничить его время работы теми же 10 минутами (это гарантированно очистит память после смерти скрипта). Но у меня на сервере демон из laravel работает по 2 месяца без утечек (перезапускать приходится из-аз обновления кода приложения).

[Дмитрий Евграфович]

MuTaToRage: ну и да, демон запускать через supervisor, чтобы тот в случае падения перезапускался самостоятелььно

Answer 2

[kpa6uu]

unset не очищает память, он лишь удаляет переменную.
Затестите тот же код, но в этот раз замените unset на = null;

Comments

[MuTaToRage]

Тестил, не помогло.

[yurygolikov]

На сколько я знаю, наоборот, нужно делать unset на, а не обнулять.
В офиц. документации в комментариях человек сравнивает null и unset
php.net/unset

[MuTaToRage]

yurygolikov: да, в ссылки которая ниже (https://habrahabr.ru/post/134784/) тоже пишут что unset надо юзать. иначе null это тоже значение и под него тоже выделяется память

[Александр Сисюкин]

В пыхе вообще не такого что бы управлять памятью. unset тупо убирает связь между строкой которую придумал кодер и тем что храниться в памяти. Лучший вариант это писать туда null или надеяться что прийдет деструктор...

[Назар Мокринский]

Александр Сисюкин: Чем лучший? Какой ещё деструктор? unset именно то, что нужно. На данные больше ничто не указывает, и сборщик мусора в следующий раз подчистит память. А null - это данные.

[Александр Сисюкин]

Назар Мокринский: насколько мне известно работа с массивами и обьектами отличается чем другими типами.
Предлогаю включить xdebag и посмотреть что там хранить zval и какое значение имеем refcoun(проверил бы сам но сейчас не могу) а про деструктор я имел ввиду сборщик мусора который можно вызывать самому с 5.3

[Александр Сисюкин]

Сорри за ошибки пишу с мобилы...

Answer 3

[toxa82]

https://habrahabr.ru/post/134784/

Comments

[MuTaToRage]

Читал, про это не сказанно

Answer 4

[index0h]

unset не очищает память, этим занимается чистильщик мусора, можете вручную запустить php.net/manual/ru/function.gc-collect-cycles.php

Comments

[Александр Сисюкин]

Будет потеря производительности 7% как в доке пишут. На маленьких скриптах не ощутимо

[MuTaToRage]

Не помогло, возвращает 0 найденных ссылок.
И это же не циклические ссылки

[index0h]

Александр Сисюкин Производительность и php, выберите что-то одно. У автора в принципе процесс падает, так что плюс 7%, или минус - это не такая большая проблема. Предполагаю, что увеличить лимит он уже пробовал.

[index0h]

MuTaToRage ок, пройдитесь по коду и проверьте, путь, который проходят данные, чисто по идее где-то они лишний раз сохраняются и не удаляются. Можете через xhprof попробовать.

[Александр Сисюкин]

MuTaToRage: запустить вот так php -dzend.enable_gc=1 -dmemory_limit=-1 -n skript.php

[Александр Сисюкин]

index0h: интересно про go рассказывает подписался на ваш канал.

[index0h]

MuTaToRage Воспользовавшись советом Александр Сисюкин не забудьте про перезагрузку процесса, когда его будет убивать oom killer

[index0h]

Александр Сисюкин )) для опытного инженера go - язык на пару недель изучения, правда к отсутствию классического наследования придется немного перекроить мышление))

[MuTaToRage]

Александр Сисюкин: это даст скрипту работать пока не кончится оперативка?