Как сделать пакетную обработку в laravel?

Question

[Hfnas]

Проблема, у меня этот код выполняется целый день.... не может нормально 1000 записей обработать. Ребят вы знаете, в чем проблема, и куда копать....
Есть ли инструменты вроде пакетной обработки , как в случае доктрины https://www.doctrine-project.org/projects/doctrine... ?

public function getLead($all=false)
    {        
        $filter = new LeadsFilter();
        $filter->setLimit(100); //было 250

        $leads = [];

        try {
            $leads[] = $this->apiClient->leads()->get($filter, [LeadModel::CONTACTS]);
            AmoLeadModel::import($leads,$this->crmCompanyID,$constants);
            $i = 2;
            //разбивка по страницам
            while ($leads[0]->getNextPageLink() != null) {
                $filter->setPage($i);
                $leads[] = $this->apiClient->leads()->get($filter, [LeadModel::CONTACTS]);
                TestLeadModel::import($leads,$this->crmCompanyID,$constants);
                $i++;
            }
        } catch (AmoCRMApiNoContentException $exception) {
            Log::error(__METHOD__ . ' setLead:' . $exception->getMessage());
        }
    }

<b>class TestLeadModel</b>
 public static function import(array $rows, $companyID, $constants=[])
    {
foreach ($rows as $row) {
    $entity = TestLead::firstOrNew(['crmCompanyID'=>$companyID,'TestID' => $row->getId()]);

                if ($entity->TestID === null) {
                    $entity->TestID = $row->getId();
                }

                $entity->name = $row->getName();
                $entity->isExist = 1;
                $entity->created = $row->getCreatedAt();
                $entity->updated = $row->getUpdatedAt();
                $entity->crmCompanyID=$companyID;

                $success=0;

                $comment = null;
                $manager = null;


                if ($row->getStatusId()) {
                    $TestStatusEntity = TestStatus::firstOrNew(['crmCompanyID'=>$companyID,'TestID' => $row->getStatusId()]);
                    if ($TestStatusEntity->TestID===null){
                        $TestStatusEntity->TestID=$row->getStatusId();
                        $TestStatusEntity->crmCompanyID=$companyID;
                        $TestStatusEntity->save();
                    }

                    $entity->crmTestStatusID = $TestStatusEntity->id;

                    if ($row->getStatusId() == 142 || $row->getStatusId() == 143) {
                        $entity->closed = date('Y-m-d H:i:s', $row->getClosedAt());
                    }
                }

                $entity->price = $row->getPrice();
                $contacts = $row->getContacts();

                if (isset($contacts[0])) {
                    $TestContactEntity = TestContact::firstOrNew(['crmCompanyID'=>$companyID,'TestID' => $contacts[0]->getId()]);
                    if ($TestContactEntity->TestID===null){
                        $TestContactEntity->TestID=$contacts[0]->getId();
                        $TestContactEntity->crmCompanyID=$companyID;
                        $TestContactEntity->save();
                    }

                    $entity->crmTestContactID = $TestContactEntity->id;
                }else{
                    $entity->crmTestContactID = null;
                }

                if (isset($contacts[1])) {
                    $TestContactEntity = TestContact::firstOrNew(['crmCompanyID'=>$companyID,'TestID' => $contacts[0]->getId()]);
                    if ($TestContactEntity->TestID===null){
                        $TestContactEntity->TestID=$contacts[0]->getId();
                        $TestContactEntity->crmCompanyID=$companyID;
                        $TestContactEntity->save();
                    }

                    $entity->crmTestContact2ID = $TestContactEntity->id;
                }else{
                    $entity->crmTestContact2ID = null;
                }

                $customFields = $row->getCustomFieldsValues();

                $mainUserField = $row->getResponsibleUserId();
                if ($mainUserField!= null) {
                    $TestUserEntity = TestUser::firstOrNew(['crmCompanyID'=>$companyID,'TestID' => $mainUserField]);

                    if ($TestUserEntity->TestID===null){
                        $TestUserEntity->TestID=$mainUserField;
                        $TestUserEntity->crmCompanyID=$companyID;
                        $TestUserEntity->save();
                    }

                    $entity->crmTestUserID = $TestUserEntity->id;
                }

                if ($customFields != null) {
                    $commentField = $customFields->getBy('fieldId', $constants["TestLeadCommentID"]);
                    if ($commentField != null) {
                        $comment = $commentField->getValues()[0]->getValue();
                    }

                    $managerField = $customFields->getBy('fieldId', $constants["TestLeadUserID"]);
                    if ($managerField != null) {
                        $managerName = $managerField->getValues()[0]->getValue();
                        $manager = TestUser::where('crmCompanyID',$companyID)->where('name', 'LIKE', "%$managerName%")->first();
                        if($manager!=null){
                            $manager=$manager->id;
                        }
                    }

                    $successField = $customFields->getBy('fieldId', $constants["TestLeadDealID"]);
                    if ($successField != null) {
                        $successName = $successField->getValues()[0]->getValue();
                        if ($successName == 'Да') {
                            $success = 1;
                        }
                    }
                }

        
                $entity->comment = $comment;
                $entity->crmTestUser2ID = $manager;
                $entity->isExist = 1;
                $entity->isSuccess = $success;
                $entity->save();

}
}

Индекс поставила на crmCompanyID,TestID

Comments

[JhaoDa]

Этот код выполняется целый день?

А нам-то откуда знать?

[Hfnas]

JhaoDa, да ошиблась, маленко, обновила вопрос, Есть ли инструменты вроде пакетной обработки , как в случае доктрины https://www.doctrine-project.org/projects/doctrine... ?

Answer 1

[ThunderCat]

Ребят вы знаете, в чем проблема, и куда копать....

Нет конечно... Берете код, бьете на блоки, расставляете метки времени, отчет по затраченному времени пишете в лог. Проблемные места смотрите и решаете можете ли уменьшить время исполнения. Вангую что самые тормоза у вас будут на выборке из бд или на запросах к апи. В случае бд - вывести запрос и сделать explain. По результату уже можно будет что-то советовать. В случае тормозов с апи - тут уже ничего в плане оптимизации сильно не придумаешь, но в любом случае задачи лучше будет скинуть в очередь и уже оттуда они будут выполняться, пока не закончится список. Кроме того, выборка по одной записи из бд в цикле - классическая ошибка, нужно объединить все запросы в один через join или in(), а дальше работать с полученным массивом.

Comments

[Hfnas]

ThunderCat, с наступающим! Благодарю за ответ!

Кроме того, выборка по одной записи из бд в цикле - классическая ошибка, нужно объединить все запросы в один через join или in(), а дальше работать с полученным массивом.

Можно поподробнее, как обьединять, мне нужно еще проверить на существование, если нет, то записать в бд, например, как тут:

$TestStatusEntity = TestStatus::firstOrNew(['crmCompanyID'=>$companyID,'TestID' => $row->getStatusId()]);
                    if ($TestStatusEntity->TestID===null){
                        $TestStatusEntity->TestID=$row->getStatusId();
                        $TestStatusEntity->crmCompanyID=$companyID;
                        $TestStatusEntity->save();
                    }

[David Gegiya]

Я бы в конкретном месте отказался от основных фич ORM, и сделал на основе сырых SQL запросов.
То есть Вы понимаете цель вашей задачи:
А. Проверить запись в БД
Б. Сделать апдейт по условию
Подготавливаете задачу. В итоге в БД уйдую запросы:
А. SELECT * FROM table WHERE id IN (X, Y, Z);. Где X, Y, Z - соответственно идентификаторы записей, которые Вам нужно получить.
Б. Обработали данные, подготовили, отфильтровали, отправляем запрос.

UPDATE table 
SET row = CASE
 WHEN id = X THEN 'A' 
 WHEN id = Y THEN 'B'
 ELSE row
END
WHERE id in(X, Y)

Так Вы получите один два запроса на всю пачку, вместо двухста (или более).

Если особо запариваться с сырым SQL не хочется, то можете посмотреть в сторону встроенных ELOQUENT ORM методов. Судя по описанию, делают примерно то же самое, насчёт итоговой эффективности, сказать не могу, нужно проверять:
https://laravel.com/docs/11.x/eloquent#chunking-results
https://laravel.com/docs/11.x/eloquent#cursors

[Hfnas]

David Gegiya,

https://laravel.com/docs/11.x/eloquent#chunking-results
https://laravel.com/docs/11.x/eloquent#cursors

К сожалению мне не подходит. Так как я запрашиваю с амо данные(беру пачку), и проверяю, есть ли амо ид в моей бд.

[ThunderCat]

Hfnas, Я тут еще и на код глянул, давайте по порядку:
1)

for ($i = 1; $i <= 100; ++$i) {
    $entity = TestLead::firstOrNew(['crmCompanyID'=>$companyID,'TestID' => $row->getId()]);

Откуда взялся $row?
2) фор там зачем? Вроде нигде итерационный счетчик ниже не задействован, кроме того условие какое-то странное, если у вас в каком-то сете будет меньше 100 элементов, то счетчик вылетит за пределы массива. Хотя он и так ничего не считает. Видимо предполагался форич, но что-то пошло не так.
3) Насколько я понял, задача обновить состояние уже существующих записей и добавить из апи несуществующие. Выбираете все существующие из бд по айди через in(), все полученные результаты будут существующими записями, остальные соответственно отсутствующими. Дальше логика на два ифа...

[Hfnas]

ThunderCat, благодарю за столь усердное внимание к моей проблеме, и за ваше время и простите за мою невнимательность
1)2) вместо for ($i = 1; $i <= 100; ++$i) { предполагается foreach ($rows as $row) {.
3) Задача интеграция амо сделок в мою бд. Я беру в первой функции задачи пачку данных из амо -100шт.
и фо второй функции начинаю интегрировать в бд. Да, вы правильно поняли задачу,: обновить состояние уже существующих записей и добавить из апи несуществующие. Вопрос в том , что неизвестно,какие записи существуют ,а какие не существуют,поэтому нужно апи. В который раз убеждаюсь, что без апи тут не обойтись.

[ThunderCat]

Hfnas,

Вопрос в том , что неизвестно,какие записи существуют ,а какие не существуют,поэтому нужно апи. В который раз убеждаюсь, что без апи тут не обойтись.

Еще раз по шагам:
1) у вас приходит 100 записей из апи.
2) Делаете запрос в БД - селект все имеющиеся записи, где TestID in (все айди пришедшие из апи). В итоге получаете ИМЕЮЩИЕСЯ в бд записи (если я правильно понял и TestID - идентификатор записи амо).
3) Далее форич $rows, в котором все операции делятся на 2 типа - есть в базе (то есть вернулись в предыдущем запросе, как проверить наличие элемента в массиве надеюсь не надо объяснять?) и нет в базе.
4) Заполняете данными - сохранили. Профит.
Логика там вроде не сложная, все должно отработать практически мгновенно. Немного напрягает странное именование полей, так что по логике присвоения значений уже сами.

[Hfnas]

ThunderCat, интересный подход, благодарю сердечно за внимание, и все делать на третьем шаге запросами : https://laravel.com/docs/11.x/queries , попробую .
Таким образом мы заполняем на 3 шаге получается каждый элемент массива перебираем:
Есть в бд UPDATE set то то то (1 запись)
НЕт в бд INSERT INTO 1запись.

Или имеется ввиду пачками заполнять
INSERT into table(col1,co2. col3) values(), (),()

Update table set col=А, col=B where id=1; Update table set col=А1, col=B1 where id=2

промежуточные результаты по прежнему через апи?:

if (isset($contacts[0])) {
                    $TestContactEntity = TestContact::firstOrNew(['crmCompanyID'=>$companyID,'TestID' => $contacts[0]->getId()]);
                    if ($TestContactEntity->TestID===null){
                        $TestContactEntity->TestID=$contacts[0]->getId();
                        $TestContactEntity->crmCompanyID=$companyID;
                        $TestContactEntity->save();
                    }

                    $entity->crmTestContactID = $TestContactEntity->id;
                }else{
                    $entity->crmTestContactID = null;
                }

Я не знаю, как для апдейт делать пакетную обработку. Подскажете: Ниже код не понимаю....
Честно говоря я не понимаю,что такое в коде A,B?:

UPDATE table 
SET row = CASE
 WHEN id = X THEN 'A' 
 WHEN id = Y THEN 'B'
 ELSE row
END
WHERE id in(X, Y)

[ThunderCat]

Hfnas, Если у вас стандартные ларавелевые модели, то достаточно засетить значения в объект и сделать save(), запись либо апдейтнится, либо создастся, в зависимости от наличия id.

Я не знаю, как для апдейт делать пакетную обработку.

Никак, апдейт предполагает масс изменения только полей с общим признаком одним набором значений. Через case можно задать несколько значений для соответствующих айди, но это скорее костыль или решение для небольших вариаций значений полей, для большой выборки это неэффективно. Я бы не стал заморачиваться и с инсертами, так как проблема явно не в них. Для начала сделайте чтобы существующие действия работали, так же, как я и писал в собственно ответе, стоит для начала определить где тормоза, а то все ваши действия напоминают купание в зеленке при царапине на пальце...

промежуточные результаты по прежнему через апи?

Зависит что вы делаете, и я не вижу где вы там апи используете? Вы просто берете контакты из ранее полученного массива, к апи вы обращались 1 раз, при получении записей, далее вся работа с этим массивом идет... По сути тут у вас та же логика, либо выбирать массово, либо использовать как у вас firstOrNew(), опять же, супервыйгрыша по времени вы не получите, просто оптимальнее выбирать 1 запросом много записей, нежели много раз по 1, так как накладные затраты на каждый запрос сильно выше чем разница между выборкой одного значения и допустим 100 (а при firstOrNew каждый раз идет запрос в бд). Это не критично на 100-300 записей, но не когда у вас их под пару сотен тысяч. Кстати, логичный вопрос - а сколько записей-то в таблицах? И сколько примерно в црм?

[Hfnas]

ThunderCat, благодарю за ответ, должно быть 18000, и будет 20000,в несколько нулей таблица...
Конечно, я запуталась,
Если формировать на каждой итерации value для инсерта, а потом соединить в один запрос
INSERT into table(col1,co2. col3) values(), (),()
не логично будет.
для апдейт явно придется оставить айпи, то есть как я сделала....

[ThunderCat]

Hfnas, у вас все еще нет понимания в чем тормоза. По идее на 20К записей все должно отрабатывать практически моментально, а у вас, по вашему описанию, уходит на 1 запись что-то в районе секунды, что овердофига. То есть на весь массив данных чуть больше 5 часов. Если тормоза вызывает запрос к апи, возможно стоит вытащить за один вызов максимальное количество записей, и далее уже работать с массивом, что в разы быстрее. Если не понимаете как работать с логированием времени - спрашивайте.

Answer 2

[David Gegiya]

Основная проблема - это обращение к БД в цикле, каждый раз. Помимо долгого ожидания Вы так и БД перегружаете.
Для пакетной обработки не нужно никаких отдельных инструментов и библиотек. Вы просто собираете все данные в локальный массив, устанавливаете предел обработки пачки, после достижения предела делаете ОДИН запрос в БД.
Если у Вас идёт обращение к разным таблицам, то можно либо JOIN-ами выводить нужные данные, если таблицы пересекаются, либо отдельно готовить под каждую таблицу свой массив для выборки.

Если предел размерности у Вас небольшой, допустим 100 элементов, то там и на пачки разбивать не обязательно. Всё, что Вам нужно сделать - это вынести из цикла все обращения к БД, оставив только подготовку данных, для дальнейших запросов

Comments

[Hfnas]

David Gegiya, с наступающим, благодарю за ответ!
как не обращаться к данным в цикле каждый раз?
Мне нужно проверить на существование, и записывать в бд

Можно поподробнее, как обьединять, мне нужно еще проверить на существование, если нет, то записать в бд, например, как тут:
$TestStatusEntity = TestStatus::firstOrNew(['crmCompanyID'=>$companyID,'TestID' => $row->getStatusId()]);
                    if ($TestStatusEntity->TestID===null){
                        $TestStatusEntity->TestID=$row->getStatusId();
                        $TestStatusEntity->crmCompanyID=$companyID;
                        $TestStatusEntity->save();
                    }

Если приведете пример, я буду благодарна Вам.