Освобождается ли память?

Question

[runapa]

Всем привет!
Вопрос возник.
Освобождается ли память, если при прогоне массива в цикле, делать unset пройденому элементу?

Comments

[FanatPHP]

если память настолько критична, то тогда не должно быть массива

Answer 1

[Кирилл Несмеянов]

unset помечает zval как освобождённый. Фактически, на внутреннем уровне, это просто каст к другому типу. До PHP 7.x это свойство даже в юзерленд было выведено.

Примечание: Сейчас код отличается и сходу сказать как оно устроено не могу, если интересно поразбираться, то вот хендлер сабжевого опкода: https://github.com/php/php-src/blob/b227a722859e83...

Всё остальное поведение уже регламентируется самим кодом: в какой момент сработает так называемый "stop the world" для подсчёта refcount и подчистки памяти. Крайний случай - это единица компиляции PHP, т.е. файл. При выходе из него всё подчищается. В идеальном же случае подчистка происходит сразу же при потере ссылки на zval даже без всяких unset.

Помимо этого терминология "подчистка" означает высвобождение пользовательской памяти, которую далее может занять другая переменная без лишних аллокаций, а не высвобождение памяти под процесс операционки. Второе происходит раз в определённые промежутки времени (тут я хз когда).

В результате, если построить график потребления ОЗУ - она всегда будет хаваться "лесенкой" (выделение пула памяти, её использование, её многократное переиспользование, и очистка в случаях, когда есть понимание того, что количество выделенной памяти избыточно) используешь ли ты unset или нет.

Answer 2

[ThunderCat]

Что мешает проверить?

Comments

[FanatPHP]

то что надо уметь проверять
я вот, проверяя, столкнулся уже со вторым кейсом, который противоречит результатам первых двух проверок

[ThunderCat]

FanatPHP, Там есть нюансы, например с массивами емнип "освобождение памяти" через ансет никак не меняет занятую область, или это надо как-то иначе ансетить, например пересобрать массив и "старый" грохнуть, а с простыми переменными базовых типов все ок, и с объектами тоже не все однозначно...

Answer 3

[FanatPHP]

В общем, зависит от того, какие именно данные лежат в массиве.
Если всякая мелочь типа чисел, то не уменьшается.
Если что-то другое - то уменьшается.

Но если память настолько критична, то в первую очередь не должно быть массива исходно.
Вместо того чтобы получать данные все скопом в массив, их брать и обрабатывать по одной строчке.

Comments

[runapa]

Тут такое дело. Я получаю от поставщика данные - порядка миллиона записей. Но мне сохранить в базу надо только уникальные. Проверяю я их при помощи in_array. Но когда величина массива доходит до нескольких сотен тысяч элементов, всё ломается. А как можно по другому записывать в бд только уникальные данные?

[rPman]

один миллион это очень мало, что именно складываешь в качестве ключа? что значит все ломается?
возможно не изменен лимит памяти и времени работы php приложений в php.ini?

[FanatPHP]

зачем тебе in_array, чтобы получить "только уникальные"?
ты уверен что правильные слова используешь чтобы описать свою проблему?

[FanatPHP]

rPman, если бегать по массиву из миллиона записей через in_array, тут что угодно сломается

[runapa]

FanatPHP, Подскажи плиз, что почитать.

[runapa]

rPman, Ключи я пока не освоил, но подозреваю, что можно использовать param_id в качестве ключа. Он числовой.

[FanatPHP]

ты сначала объясни что ты делаешь
ПОДРОБНО
я не понимаю что тебе надо.
ты страдаешь какой-то фигней, делаешь все неправильно, потом где-то застреваешь и бежишь за помощью.
мне неинтересно читать про то где ты оказался.
мне надо знать ИСХОДНУЮ задачу.
только в человеческих терминах. В пхп НЕТ такого источника данных "поставщик"

ТОЛКОМ РАССКАЖИ ПОДРОБНО что ты делаешь. что читаешь, куда пишешь, что ты называешь словом "уникальность"

[runapa]

FanatPHP,
На основании айди, что у меня есть в бд, я в цикле делаю  курлом http запрос к апи поставщика. Получаю оттуда json с данными, преобразую его в массив и начинаю раскладывать этот массив по таблицам в бд.

Всего четыре таблицы. С тремя из них проблем нету, но в четвёртую приходит несколько миллионов записей, и большая часть из них повтор. Мне надо перед записью в бд, каким-то образом отсеять повторы.

Поэтому, я на первой итерации записываю в таблицу бд данные, а на следующих итерациях, выбираю из бд уже записанное, сравниваю их с новыми, при помощи цикла и in_array, убираю повторы, и записываю обратно в базу новую порцию. Дальше цикл повторяется, до тех пор, пока исходные данные не закончатся.
Как-то так...

[FanatPHP]

я все равно ничего не понял.
у тебя реально проблема с русским языком.
у школе надо было хотя бы изложения писать. про сочинения уже и не говорю.

В общем, как я понимаю проблему сейчас (хотя я сильно не уверен что правильно):
у тебя есть массив из джейсона, в котором несколько миллионов записей, в котором есть дубликаты.
тут есть два варианта
- либо под "повторами" понимаются записи в самом массиве, без всякой связи с данными в БД
- либо "повторы" - это данные которые уже есть в БД.

если второе, то кто мешает писать все подряд, сделав уникальный индекс и используй INSERT IGNORE?

[rPman]

FanatPHP, жесть, до меня дошло
runapa, ключ это то чем ты адресуешь элементы массива php, так как в php массивы это key->value map по умолчанию (собственно массивов как в других языках там нет)

вот у тебя список объектов (не важно как они выражены, хоть строкой хоть массивом каждый), ты должен выделить из каждого его идентификатор (то на основе чего определяешь его уникальность) и использовать его в качестве ключа для своего массива в php. Т.е. буквально проверяешь isset($uniq_check[$id]) и если есть значит запись не уникальна (решай что сохранить ее или ту что первой с таким id появилась), ну если нет то $uniq_check[$id]=..объект...; для каждого своего объекта

Answer 4

[rPman]

в куче процесса освобождается, а вот для операционной системы уже не факт
можно попросить php задуматься об освобождении освободной памяти по раньше, выполнив gc_collect_cycles

Comments

[FanatPHP]

я попробовал, у меня память осталась та же

[rPman]

$m=[];
for($i=0;$i<1024;$i++) $m[$i]=str_repeat('1234567890123456',65536);
echo 'ok ';
sleep(10);
for($i=0;$i<1024;$i++) unset($m[$i]);
gc_collect_cycles();
echo 'free ';
sleep(1000);

специально средствами ОС смотрел сразу после ok и после free, сначала было гигабайт working set (2gb выделено) после освобождения занимать стало 16мб

[FanatPHP]

Да, действительно
Я тестировал на массиве чисел, а он работает по-другому.

[rPman]

для чисел дополнительно памяти не выделяется, они хранятся в самом массиве (точнее map) и нужно unset сам массив, когда как для других объектов там указатели