Как сгруппировать коллекцию или массив в Laravel Eloquent?

Question

[Александр]

В данный момент делаю так. Хотелось бы использовать встроенную в коллекции функцию. По типу Map или Pluck

$savedItems = Item::all(['kodik_id', 'shikimori_id', 'worldart_link']);
            $savedItemsIds = [];

            foreach ($savedItems as $savedItem) {
                $savedItemsIds['kodik_id'][$savedItem->kodik_id] = true;
                $savedItemsIds['shikimori_id'][$savedItem->shikimori_id] = true;
                $savedItemsIds['worldart_link'][$savedItem->worldart_link] = true;
            }

Comments

[Дмитрий]

а что вы вообще хотите сделать?

[Александр]

Выбираю все записи. Но только с полями 'kodik_id', 'shikimori_id', 'worldart_link'. И нужно потом записывать в массив 'kodik_id' все поля 'kodik_id' и т.д.

[Дмитрий]

Александр, я вижу по коду что вы выбираете. вопрос конечный результат какой? в чем задача целиком

Как бы любой человек который писал что то сложное при виде Item::all() немножко напряжется. Потому что очень опасная конструкция. От попытки Items::all() а потом в массиве все перебрать - напряжется второй раз. По этому возникают подозрения что вы изначально пошли немного не туда

[Александр]

Дмитрий, ну мне нужно выбрать все записи,и сложить $savedItemsIds[kodik_id'][$savedItem->kodik_id] = true;
$savedItemsIds['shikimori_id'][$savedItem->shikimori_id] = true;
$savedItemsIds['worldart_link'].
Потому что по АПИ приходят ID. И мне нужно проверять есть такие в базе или нет. Делать каждый раз запрос в БД это резурсозатроатно. Проще выбрать все ID в массив и сравнивать. Тем более всего будет около 20 тысяч записей. Много памяти не сьест

[Дмитрий]

Александр, у вас висит какой то демон который при старте считывает данные и с какой то эпизодичностью перечитывает их? что за демон?

[Александр]

Дмитрий, обычная команда в артисан создана и через и планировкщик на кроне

[Дмитрий]

Александр, и она куда эти данные выгружает? как код апи получает эти данные?

[Александр]

Дмитрий, не совсем понял вопрос. Делается запрос по АПИ. Потом данные в цикле перебираются. И есть необходимость проверять есть такой ИД в БД или ещё нет. Данное апи не дает каких либо меток по типу только новвые данные, либо ХЕШ по которому можно проверять и т.д.

[Дмитрий]

Александр, у вас обращение идет к апи? оно как то должно понять пришли новые данные или они уже есть? так? то есть в апи прилетел запрос с kodik_id = 1, и вам нужно проверить есть ли такой в базе?

[Александр]

Дмитрий, да. С АПИ приходит запись. У записи может быть ID - 'kodik_id', 'shikimori_id', 'worldart_link'. Может бытьь одно из трех, либо 2, либо 3. И нужно проверять есть или нет такое в БД. Каждый по АПИ приходиться проходить полностью. Но оно не большое, это занимает около 1-2 минут. А вот 20 тысяч запросов делать не хочется. Поэтому выбирааю массив всех ID

[Дмитрий]

Александр, не совсем понимаю. вот у вас консольная команда прочитала в память все Item, построила массив, прекратила работу - иииии данных нет. Все вычищено из памяти. У вас прилетает запрос к апи и он хочет обратиться как то к этому массиву и как он это делает? Консольная команда куда то их сохраняет?

[Александр]

Дмитрий, Строю массив, а после работает АПИ тут же. Раньше делались запросы к базе на каждый ID. Это 20 тысяч запросов. Сейчас это 1 запрос, а потом массив в котором ппровверяются ключи

[Александр]

Дмитрий,

public function importItems(): void
{
    $response = $this->getItemsByApiFistPage();

    $newestId = $response->results[0]->id;

    if (Item::where('kodik_id', $newestId)->first()) {
        return;
    } else {
        $savedItems = Item::all(['kodik_id', 'shikimori_id', 'worldart_link']);
        $savedItemsIds = [];

        foreach ($savedItems as $savedItem) {
            $savedItemsIds['kodik_id'][$savedItem->kodik_id] = true;
            $savedItemsIds['shikimori_id'][$savedItem->shikimori_id] = true;
            $savedItemsIds['worldart_link'][$savedItem->worldart_link] = true;
        }
    }

    do {
        $items = $response->results;
        $nextPage = $response->next_page;

        foreach ($items as $item) {
            if (
                isset($item->shikimori_id) and isset($savedItemsIds['shikimori_id'][$item->shikimori_id])
            ) {
                continue;
            } elseif (isset($item->worldart_link) and isset($savedItemsIds['worldart_link'][$item->worldart_link])) {
                continue;
            }

            $itemDTO = new ItemDTO($item);
            Item::create($itemDTO());
        }
    } while (
        $nextPage
            ? ($response = $this->getItemsByApiNextPage($nextPage))
            : null
    );

[Дмитрий]

Александр, я так понял что это вы стучитесь в какой то api оттуда получаете данные и проверяете их у себ в бд?

[Александр]

Дмитрий, да

[Дмитрий]

Александр, уффф. теперь понятнее. в принципе конечно для проверки isset($savedItemsIds['shikimori_id'][$item->shikimori_id]); вам вполне хватит конструкции

$savedItemsIds['kodik_id'] = $savedItems->pluck(1, 'id')->all();

а пригонять все к запросу whereIn не пробовали? или insertIgnore?

[Александр]

Дмитрий, мне нужны все id, не только kodik_id. Там специфический алгоритм, долго обьянять

Answer 1

[Samuel_Leonardo]

В один проход как у вас нет, да и под капотом у Pluck тот же foreach,
если хотите просто спрятать все внутрь,
то перенесите код в отдельную функцию или в макро
https://laravel.com/docs/9.x/collections#extending...