Получится ли сэкономить память с yield?

Question

[KuzmenkoArtem]

Какой вариант менее затратный с точки зрения памяти

function batch($bigArray) {
    $batchSize = 1000;
    for ($i = 0; $i <= count($bigArray); $i += $batchSize) {
        yield array_slice($bigArray, $i, $batchSize);
    }
}

function chunk($bigArray) {
    $chunkSize = 1000;
    return array_chunk($bigArray, $chunkSize);
}

#1
foreach(batch($bigArray) as $item) {
     $memoryUsage = memory_get_usage();
    //do something
}

#2
foreach(chunk($bigArray) as $item) {
    $memoryUsage = memory_get_usage();
    //do something
}

В первом варианте внутри foreach memory_get_usage выдает меньшее число, но как насчет функции array_slice внутри batch() там же каждую итерацию передается целый масив, не будет ли переполнения памяти в array_slice.

Какой вариант более предпочтительней? или может есть лучшее решение (при условии что массив все же нужно разбить на части)

P.S. массив приходит из-вне, то есть раньше разбить его не предоставляется возможным
Спасибо!

Comments

[Дмитрий]

А вопрос чисто теоритическии?

[KuzmenkoArtem]

Дмитрий, Не, такая ситуация в реальном проекте

Answer 1

[Сергей Соколов]

Почему бы не измерить использование памяти во всех вариантах?
БольшойМассив так и так остаётся в памяти и не копируется целиком в array_slice(). Что будет, если передать его в array_slice()по ссылке – уменьшится использование памяти?

Почему бы вообще не работать со ссылкой на массив и не запоминать положение "курсора"?
reset(), next(), current() – вот это вот всё..

Второй вариант - выгрузить массив из памяти в файл, и читать чанки оттуда с нужной позиции. Например, если массив содержит 32-битные целые, то записать весь массив в бинарный файл, по 4 байта на число. См. pack() и unpack(). Оффсет в файле равен индексу числав массиве * 4 байта.

Comments

[KuzmenkoArtem]

Спасибо за ответ

Что будет, если передать его в array_slice() по ссылке – уменьшится использование памяти?

Я же не могу изменить эту функцию

Почему бы не измерить использование памяти во всех вариантах?

Как я и писал, я измерял в foreach-ах но внутри array_slice() я же не могу этого сделать (?)

Почему бы вообще не работать со ссылкой на массив и не запоминать положение "курсора"?

Не совсем понимаю как можно разбить на чанки с помощью этого (кроме как выдавать по одному)

Второй вариант - выгрузить массив из памяти в файл

Пока попытаюсь без этого

[Сергей Соколов]

KuzmenkoArtem, memory_get_peak_usage()

Не совсем понимаю как на чанки разбить таким образом

Что-то типа:

function batch(&$bigArray) {
    $batchSize = 1000;
    reset($bigArray);
    for ($i = 0; $i <= count($bigArray); $i += $batchSize) {
        $buffer = [];
        for ($j=0; $j<$batchSize; $j++) {
            array_push($buffer, current());
            if (FALSE === next()) break;
        }
        yield $buffer;
    }
}

[KuzmenkoArtem]

Сергей Соколов, А точно, спасибо. Но как понять что этот вариант лучше чем с array_slice()...?

[KuzmenkoArtem]

Сергей Соколов, А, не заметил сразу ссылку на memory_get_peak_usage()

Answer 2

[Андрей]

А не будет ли наименее затратным по памяти вообще перебор исходного массива foreach'ем и формирование чанка в верхнем цикле и его обработка, когда размер чанка будет достигнут?

На сколько я понимаю, если есть массив на миллион строк и его разбить на чанки по 1000, то в памяти будет один массив на миллион строк и 1000 массивов по тысяче строк.

А в варианте из первого абзаца - массив на миллион строк, массив на 0...1000 строк, и ин-т на позицию в глобальном массиве...

Comments

[KuzmenkoArtem]

В принципе вы правы, но из вне пока нет возможности разбить масив на чанки

[Андрей]

KuzmenkoArtem,
я имел ввиду что-то типа такого:

$batch = [];
$batchSize = 1000;
foreach($bigArray as $position => $item) {

    if(count($batch) === $batchSize) {
        $memoryUsage = memory_get_usage();
        //do something
        $batch = [];
    } else {

        $batch[$position] = $item;
    }
}

[KuzmenkoArtem]

Андрей, Да, в данной ситуации это наверное будет самый лучший вариант