Как уменьшить потребление памяти скрипта?

Question

[Олег]

Имеется скрипт, который создает xml файл ос 100тыс. товаров.
С помощью функции memory_get_usage() и memory_get_peak_usage() замеряю количество съеденной памяти.
Функция, которая выгружает с базы данных продукты, съедает 200мб.
Далее идет обычный foreach, который формирует xml.
После завершения foreach, функция memory_get_peak_usage() показывает больше 1гб памяти. Слишком много...
При экспорте 45тыс. товаров, скрипт сьедает 450мб. Это нормально?

Пытался использовать array_chunk, разбивать по 10 000 тыс и использовать unset. Но потребление одинаковое.
+ смотрю в ispmanager, сколько памяти съедает - данные совпадают.
Как можно уменьшить количество потребляемой памяти? Скрипт оптимизировал максимально. Или для 100тыс. - 1гб это нормально?

Answer 1

[neol]

Попробуйте XMLWriter для создания XML, если сейчас используется не он. У него довольно скромные аппетиты по памяти.

Answer 2

[Петр Васильев]

https://habr.com/post/112474/
https://m.habr.com/post/345024/
Если кратко xml обработку вряд ли получится нормально обработать.
Строится дом дерево, если есть возможность переносите в csv и читайте построчно и построчно же обрабатывайте. Фишка в том чтобы держать в памяти только то что мы сейчас обрабатываем.

Answer 3

[Yan-s]

XMLWriter вам подойдет. Но. Смысл в том, чтобы не формировать документ в памяти, а сразу писать в файл. Тогда вообще никаких проблем у вас не будет.

Comments

[DomowDenis]

а вы замучали, советчики.. Хоть бы кто-то указал - как же записывать построчно

[Yan-s]

DomowDenis, вы сайтом ошиблись. Здесь отвечают объясняют как решить проблему и помогают отвечая на вопросы. Построчное решение - это на фриланс биржу. Читайте правила, пункт 5.12.

Answer 4

[Андрей К]

Странно судить нормально или нет, если не понятно, у Вас там только ID товара или описание по 5000 знаков на 10 языках. Но думаю, что да, может быть это и нормально, так как документ в памяти займет много места, а сборщик мусора там ничего особо не уберет.

Если нужно использовать меньше памяти, то XML - это просто текст. Его можно писать как строку сразу в файл по мере чтения, если нужно просто перенести из базы в файл. Тогда не будет весь документ находится в памяти со всей структурой.