Почему метод chunk при большом количестве данных отдает только половину?

Question

[vadikrudnov]

Всем привет!

До этого использовал метод chunk на маленьком количестве данных, до 5К данных, и метод работал отлично.

Model::chunk(1000, function($models){
   foreach($models as $model){
      $model->text = null;
      $model->save();
   }
});

Тут решил опробовать на 40К данных и в итоге этот метод смог обработать только 20К, и главное не ошибок, ничего не вылезло.
Почему метод chunk при большом количестве данных отдает только половину? И нигде не встречал такой информации, что данный метод обрабатывает только половину данных.

Answer 1

[vadikrudnov]

Сам задал, сам нашел ответ:

Представьте, что вы используете метод chunk для удаления всех записей. В таблице 2 000 000 записей, и вы собираетесь удалить их все по 1000 фрагментов.

Model::orderBy('id')->chunk(1000, function ($models) {
    foreach($models as $model) {
        $model->delete();
    }
});

Он удалит первые 1000 записей, получив первые 1000 записей в запросе, подобном этому:
SELECT * FROM table ORDER BY id LIMIT 0,1000
И затем другой запрос из метода chunk:
SELECT * FROM table ORDER BY id LIMIT 1000,2000

Проблема здесь в том, что мы удаляем 1000 записей, а затем получаем результаты от 1000 до 2000. На самом деле нам не хватает первых 1000 записей, и это означает, что мы не удалим 1000 записей на первом шаге chunk! Этот сценарий будет таким же для других шагов. На каждом этапе мы будем пропускать 1000 записей, и это является причиной того, что мы не получаем наилучшего результата в таких ситуациях.

Приведен пример для удаления, потому что таким образом это показывает точное поведение метода chunk.

Если Вам не нужны пропуски данных, используйте метод chunkById!

Answer 2

[pLavrenov]

Дело вообще не в chunk, а во времени исполнения скрипта или оперативной памяти.

Comments

[vadikrudnov]

Ага, не в нем, применив chunkById, больше проблемы не было! (Время исполнения скрипта =24 часа/ RAM 256GB)

[pLavrenov]

vadikrudnov, будут, это плохой подход. Да и save() обновляет поле updated_at а выборка по умолчанию идет по created_at, очередность не меняется.

[vadikrudnov]

pLavrenov, если бы была нехватка памяти или время исполнения скрипта маленьким, то была бы ошибка! А так, скрипт с chunk попросту заканчивает успешно работу, и в конце выводит сообщение об этом, при всем этом, обработав только половину записей.