Как сравнить 2 массива?

Question

[kategg]

Есть 1 массив вида email => id. Содержит 10к+ элементов

$emails = [
        '[e-mail]' => 123,
        '[e-mail]' => 244,
        '[e-mail]' => 342, 
        // ...
    ];

Есть еще один массив, другого вида. Содержит также 10к+ элементов, но приходит частями по 100 элементов, т.е. чтобы получить целый массив придется складывать каждый пришедший.

$users = [
        [
            'id' => 34235,
            'email' => '[e-mail]',
            'name' => 'Name 1'
        ],
        [
            'id' => 37855,
            'email' => '[e-mail]',
            'name' => 'Name 2'
        ]
        // ...
    ];

Надо сравнить эти массивы по email-адресу и получить 2 результирующих массива:
1. Массив пользователей из массива $users, которых нет в массиве $emails
2. Массив записей, из массива $emails, которых нет в массиве $users

Как лучше решить данную задачу?

Comments

[aleksejjjjj]

Вы неверно подходите к задаче. Судя по прошлому вопросу первый массив вы получили из БД.

Не нужно оттуда вытаскивать миллион записей, и сравнивать с новой сотней.

Вам уже в комментариях написали - это больше для БД работа, подумайте в эту сторону

[kategg]

aleksejjjjj, я уже отвечала, что единственное, что мне приходит в голову - это загрузить новые данные во временную таблицу и с помощью join сравнить с данными в другой таблице, но не знаю, насколько такой подход оптимален. Получается много запросов на добавление + очистка после завершения сравнения. Вся проблема тут в том, что надо получить записи из БД, которых нет в приходящих данных. Т.е. сравнение идет в обе стороны. Если бы подсказали что-то конкретное, я была бы очень признательна)

[tukreb]

kategg, используй временную таблицу, в SQL как временные данные и сравнивайте потом с ней, SQL представляем массу решений.

[rPman]

Добавлю, что если данных не много, то их можно разместить в самом запросе, например select ... From ... Where email not in ('user@example. com',...)

[kategg]

rPman, Тоже думала об этом, но там может приходить и под 100.000 элементов, а это уже много =)

[Ипатьев]

А чем не устраивает перебирать массив $users и смотреть, есть ли такой адрес в $emails?

[alexalexes]

Ипатьев, индексации данных нет при сравнении. Лучше заморочиться с загрузкой данных в СУБД, а потом просто оперировать SQL. Там все плюшки с индексацией будут, даже думать не надо, как эффективнее выполнить запрос.

[Ипатьев]

alexalexes, что значит "индексации данных нет при сравнении"? Можно чуть развернутее пояснить эту мысль?

[kategg]

Ипатьев, вся проблема в том, что для этого приходится выгружать много записей из таблицы с email, а это 100.000+ элементов для одного клиента. Выгрузка может понадобится для нескольких клиентов сразу, получается накладно по памяти

[Ипатьев]

kategg, ну вы определитесь тогда сначала
Вы послушайте себя со стороны:
- у меня есть массив!
- ну так перебирайте его, в чем проблема?
- ой, у меня его нету, его получать долго!
В вопросе про "выгружать много записей" как бы ничего не было

С цифрами тоже непонятно, то 10к+, то 100к.

И с памятью то же самое. Сколько будет "накладно" в цифрах? Даже 100к емейлов - это несчастные 2 мегабайта. У вас настолько всё плохо с железом? Или вы путешественница во времени и пишете нам из 2004 года?

Вы хоть какой-то вариант уже пробовали?
Если нет - то почему?
Если да - то с какими конкретно проблемами столкнулись и чем конкретно он вас не устроил, что вы ищете альтернативный?

[Ипатьев]

Сам я тоже бывает туплю. Вот ответ написал было совершенно не в тему.

[Ипатьев]

сейчас померял - получается не 2, а 10 мегабайт. Ну как бы тоже не великие цифры для консольного скрипта, который запускается по запросу. Вы же не в онлайне эти "массивы" сравниваете?

[kategg]

Ипатьев, у меня получилось 12мб. Для сравнения планирую использовать задачу в очереди. Т.е. отправили запрос, добавилось задание в очередь и там висит, пока не выполнится

[Ипатьев]

Ну и отлично. Надо только убедиться что ограничение памяти в РНР не слишком низкое, я думаю 128М хватит. Соответственно с одним воркером максимальное поребление будет не больше этого значения, а в реальности должно быть меньше, не больше 30М.