Как сравнить 2 массива?

Question

[kategg]

Есть 1 массив вида email => id. Содержит 10к+ элементов

$emails = [
        '[e-mail]' => 123,
        '[e-mail]' => 244,
        '[e-mail]' => 342, 
        // ...
    ];

Есть еще один массив, другого вида. Содержит также 10к+ элементов, но приходит частями по 100 элементов, т.е. чтобы получить целый массив придется складывать каждый пришедший.

$users = [
        [
            'id' => 34235,
            'email' => '[e-mail]',
            'name' => 'Name 1'
        ],
        [
            'id' => 37855,
            'email' => '[e-mail]',
            'name' => 'Name 2'
        ]
        // ...
    ];

Надо сравнить эти массивы по email-адресу и получить 2 результирующих массива:
1. Массив пользователей из массива $users, которых нет в массиве $emails
2. Массив записей, из массива $emails, которых нет в массиве $users

Как лучше решить данную задачу?

Comments

[aleksejjjjj]

Вы неверно подходите к задаче. Судя по прошлому вопросу первый массив вы получили из БД.

Не нужно оттуда вытаскивать миллион записей, и сравнивать с новой сотней.

Вам уже в комментариях написали - это больше для БД работа, подумайте в эту сторону

[kategg]

aleksejjjjj, я уже отвечала, что единственное, что мне приходит в голову - это загрузить новые данные во временную таблицу и с помощью join сравнить с данными в другой таблице, но не знаю, насколько такой подход оптимален. Получается много запросов на добавление + очистка после завершения сравнения. Вся проблема тут в том, что надо получить записи из БД, которых нет в приходящих данных. Т.е. сравнение идет в обе стороны. Если бы подсказали что-то конкретное, я была бы очень признательна)

[tukreb]

kategg, используй временную таблицу, в SQL как временные данные и сравнивайте потом с ней, SQL представляем массу решений.

[rPman]

Добавлю, что если данных не много, то их можно разместить в самом запросе, например select ... From ... Where email not in ('user@example. com',...)

[kategg]

rPman, Тоже думала об этом, но там может приходить и под 100.000 элементов, а это уже много =)

[Ипатьев]

А чем не устраивает перебирать массив $users и смотреть, есть ли такой адрес в $emails?

[alexalexes]

Ипатьев, индексации данных нет при сравнении. Лучше заморочиться с загрузкой данных в СУБД, а потом просто оперировать SQL. Там все плюшки с индексацией будут, даже думать не надо, как эффективнее выполнить запрос.

[Ипатьев]

alexalexes, что значит "индексации данных нет при сравнении"? Можно чуть развернутее пояснить эту мысль?

[kategg]

Ипатьев, вся проблема в том, что для этого приходится выгружать много записей из таблицы с email, а это 100.000+ элементов для одного клиента. Выгрузка может понадобится для нескольких клиентов сразу, получается накладно по памяти

[Ипатьев]

kategg, ну вы определитесь тогда сначала
Вы послушайте себя со стороны:
- у меня есть массив!
- ну так перебирайте его, в чем проблема?
- ой, у меня его нету, его получать долго!
В вопросе про "выгружать много записей" как бы ничего не было

С цифрами тоже непонятно, то 10к+, то 100к.

И с памятью то же самое. Сколько будет "накладно" в цифрах? Даже 100к емейлов - это несчастные 2 мегабайта. У вас настолько всё плохо с железом? Или вы путешественница во времени и пишете нам из 2004 года?

Вы хоть какой-то вариант уже пробовали?
Если нет - то почему?
Если да - то с какими конкретно проблемами столкнулись и чем конкретно он вас не устроил, что вы ищете альтернативный?

[Ипатьев]

Сам я тоже бывает туплю. Вот ответ написал было совершенно не в тему.

[Ипатьев]

сейчас померял - получается не 2, а 10 мегабайт. Ну как бы тоже не великие цифры для консольного скрипта, который запускается по запросу. Вы же не в онлайне эти "массивы" сравниваете?

[kategg]

Ипатьев, у меня получилось 12мб. Для сравнения планирую использовать задачу в очереди. Т.е. отправили запрос, добавилось задание в очередь и там висит, пока не выполнится

[Ипатьев]

Ну и отлично. Надо только убедиться что ограничение памяти в РНР не слишком низкое, я думаю 128М хватит. Соответственно с одним воркером максимальное поребление будет не больше этого значения, а в реальности должно быть меньше, не больше 30М.

Answer 1

[Владимир Римидалв]

UPD в соответствии с комментариями

Самое простое, "решение в лоб"

function getExcluded(array $users, array $emails): array
{
    foreach ($users as $key => $user) {
        if (isset($emails[$user['email']])) {
            unset($emails[$user['email']]);
            unset($users[$key]);
            break;
        }
    }

    return [
        'emails' => $emails,
        'users' => $users,
    ];
}

Единственное, могут быть коллизии если в массиве users будут несколько массивов с одинаковым email
При необходимости можно генераторы заюзать https://www.php.net/manual/ru/language.generators....

Comments

[Ипатьев]

первый цикл лишний

[Ипатьев]

во втором варианте перебор более осмысленный, но непонятно, зачем опять перебирать емейлы через array_diff

[Ипатьев]

а при чем здесь генераторы непонятно вообще совсем

[kategg]

Ипатьев, я сделала так:

$newEmails = [];
        $emails = $model->relation()->pluck('id', 'email')->toArray();
        
        foreach($users as $user) {
            $email = $user['email'];

            if(!array_key_exists($email, $emails)) {
                $newEmails[] = compact('email');
                continue;
            }

            unset($emails[$email]);
        }
        
        // $newEmails - новые
        // $emails - удаленные

но проблема все та же - выгрузка большого кол-ва записей из БД

[Ипатьев]

kategg, это не проблема, а сотрясение воздуха.
проблема - это "скрипт падает по памяти" или "скрипт выполняется столько-то времени конкретно, а есть требование, чтобы выполнялся не больше чем за столько-то "

[Владимир Римидалв]

Ипатьев, Согласен, лишний. Второй вариант я убрал. Касательно генераторов, я так понял, что подразумевается работа с большими массивами, а

Генератор помогает писать код, который использует foreach для перебора набора данных без необходимости создания массива в памяти, что может привести к превышению лимита памяти или значительного времени, чтобы его создать.

[Ипатьев]

Владимир Римидалв, во-первых, и в самых главных, у нас нет жёсткого условия использовать foreach. То есть генератор тут по определению не при чем.
Во-вторых, исходный вопрос про то, как сравнить два массива. А к этому опять же, генераторы никакого отношения не имеют.
В целом, генераторы - это про удобство. А об удобствах надо думать в последнюю очередь, надо сначала рабочий код получить.

[Ипатьев]

Да, и в третьих и ещё более главных - у нас тут не перебор, а поиск по ключу. То есть генератор совсем вообще никак, даже для красоты.