Растет память при чтении большого json?

Question

[Messi]

Здравствуйте! Ранее писал вопрос про чтение большого файла JSON. Посоветовали использовать json stream parser, потому что сначала использовал из-за отсутствия знаний json_decode:).

При использовании парсера нагрузка упала, но что заметил, при выполнении кода, по чуть-чуть нагрузка на память всё равно растет(по 0.1%) началась задача с 2%, а дошло до 8.

Ниже приведу код который обрабатывает большой файл(всё внес в один метод для быстрого чтения тут).

Для json использовал это: https://github.com/skolodyazhnyy/json-stream

private function prepareAndSave($json, DocumentManager $documentManager)
    {
        $data = [];

        $iteration = 0;

        $savedNumber = 0;

        $fh = fopen($json, "r");

        while (!feof($fh)){
            try {
                $reader = new Reader($fh);

                $reader->enter('items', Reader::TYPE_OBJECT);

                $object = $reader->read();

                $data[] = [
                    'some_id' => $object['some_id'],
                    'some_data' => $object['some_data'],
                    'images' => isset($object['images']) ? $object['images'] : [],
                ];
            } catch (\Exception $exception) {
                continue;
            }

            $iteration++;
            // Batch_size = 2000
            if (count($data) >= self::BATCH_SIZE) {
                try {
                    $documentManager->getDocumentCollection(MyDocument::class)->batchInsert($data);
                    $iteration = 0;
                    $data = [];
                } catch (\Exception $exception) {
                    echo "Exception in saving to Mongo \r";
                    continue;
                }

                echo "Number of saved data: $savedNumber \r";
            }

            $reader->leave();
        }

        if (!empty($data)) {
            try {
                $documentManager->getDocumentCollection(MyDocument::class)->batchInsert($data);
            } catch (\Exception $exception) {
                echo "Exception in saving to Mongo at the end. \r";}
        }

        fclose($fh);
    }

С помощью профилирования определил что:

больше всего памяти берут вот эти два момента:
Ссылка на клас Tokenizer:
Метод readSymbol() берет больше всего (30 гб), потом readKeyToken() (8гб), а потом readValue() ( 4гб)
Это в отчете Memory Hogs

Comments

[Максим Федоров]

Покажите код класса Reader и DocumentManager

[Messi]

Максим Федоров, https://github.com/skolodyazhnyy/json-stream/blob/...

DocumentManager от doctrine orm Mongodb

[Максим Федоров]

Messi, а почему такие жирные детали упустили в описании :) Надо смотреть, где течёт или доктрина или ридер

[Messi]

Максим Федоров, учту, спасибо:)

[Messi]

Максим Федоров, обновил вопрос, дело не в доктрине :)

Answer 1

[Nujabes37]

Ты можешь подключить профилировкщик и посмотреть, что именно так нагружает систему) Советую xhprof.

Comments

[Messi]

Спасибо, не знал про него :) Сейчас пробую.

[Nujabes37]

Messi, Еще совет. Была похожая задача и у меня также была утечка памяти. И поэтому работу с файлом я вынес в отдельный цикл. Сейчас объясню как выглядел цикл.
1. Открыть файл
2. jsone_decode строки
3. Запись полученного массива в переменную
4. Закрытие файла
А дальше я использовал эту переменную для логики.
Можешь попробовать

[Messi]

Nujabes37, обновил вопрос.