Как работать с большими массивами на php?

Question

[qfake]

Добрый день.
Получаю от стороннего ресурса массивы с числами.
Задача в том, чтобы сравнить два таких массива с помощью, например, array_intersect.
Проблема в том, что этих чисел в массиве могут быть миллионы. И процессов этих может быть несколько в единицу времени.
Подскажите, пожалуйста, как организовать работу таким образом, чтобы оно не поело всю память.

Comments

[Zhainar]

для чего вы это делаете? без контекста не понять

[Алекс Глебов]

генераторы должны помочь
https://www.php.net/manual/ru/language.generators....

[FanatPHP]

Алекс Глебов, а ты уже пробовал использовать генератор в array_intersect?

[Максим Федоров]

FanatPHP, ну значит не использовать array_intersect,
зачем ее использовать с двумя генераторами? :)

[FanatPHP]

Максим Федоров, ну два-то генератора будет все-таки перебор. Ок, пусть уками сравнивать ,но один из массивов все равно придется массивом делать, а не генератором.
Условно говоря, миллион чтений с диска или триллион - большая разница.

[Максим Федоров]

FanatPHP, тут по-хорошему узнать у ТС — что значит "сравнить"

[qfake]

Всем спасибо за ответы. Сравнить - найти пересечения (те значения, которые есть в обоих массивах) array_intersect да, можно не использовать, если есть другие варианты. Как вариант - писать в базу.
Чисто технически задача выглядит так:
1. От стороннего ресурса получаются массивы с int. Их может быть 2, 3 и больше.
2. Нужно найти те значения, которые есть во всех массивах одновременно.
Из моих вариантов - две временных таблицы, в первую-массив, во вторую-результат, чистить первую и писать в нее следующий результат и так далее.
Для конкретно своей задачи я нашла способ решения, но он с использованием метода апи, который отменяет необходимость получения сразу таких объёмов.
Но все-таки интерес остался, возможна ли какая-то оптимальная организация такого рода процессов, уже из любопытства))

[FanatPHP]

Если что, в моем тесте с записью чисел в ключи, а не в значения массива, array_intersect_key() отработала мгновенно на массивах по миллиону значений с пересечением в пол-миллиона, и всего отъелось 128 метров памяти. array_intersect() же тупила и вылетела по памяти.

ini_set("memory_limit", "200M");

$a = $b = $c = [];
for($i=0; $i < 1000000; $i++) {
    $a[$i] = 1;
}
echo count($a), " ", round(memory_get_usage() / 1024 / 1024), "\n";

foreach(range(500000, 1500000) as $i) {
    $b[$i] = 1;
}
echo count($a), " ", round(memory_get_usage() / 1024 / 1024), "\n";

#foreach ($a as $i => $t) {     if (isset($b[$i])) $c[] = $b[$i]; }
$c = array_intersect_key($a, $b);

echo count($c), " ", round(memory_get_usage() / 1024 / 1024 ), "\n";
echo count($c), " ", round(memory_get_peak_usage() / 1024 / 1024 ), "\n";

То есть при наличии памяти в размере 130 байт * число элементов в массиве * на количество процессов можно просто встроенными массивами.

[Everything_is_not_so_bad]

А какова цель сравнения? Нужно найти общие элементы? Нужно слить в один?
Сравнив, что будет дальше? Класть в БД?

Answer 1

[FanatPHP]

Я думаю, самым разумным решением будет писать эти массивы в базу и сравнивать простым запросом. Именно так в общем случае решается задача "сравнение двух больших массивов данных на РНР." Конкретную же реализацию можно будет предложить только если будет конкретный вопрос, без "может быть " и "например".

Да, память в БД тоже не бесплатная, но тут надо уже определиться - или мы хотим ворочать гигазы варезов, или сидеть на копеечном впс с 500 метрами памяти. Одновременно не получится.

Можно конечно извернуться и скомпилить специальное расширение, которое как раз и предназначается для работы с иллимонами элементов, но опять же - все зависит от возможностей и потребностей.

Comments

[qfake]

Спасибо, об этом я тоже думала! Сидеть на копеечном впс мы не хотим)) тут никаких ограничений из экономии, будет нормальный сервер. За judy массивы отдельное спасибо, не попадались еще, изучу подробнее)

Answer 2

[Сергей Соколов]

Чтобы не в памяти, можно на диск. Сохранить массив чисел в файл. Для компактности как бинарный файл, по 4 байта на число pack() (если это 32-битные id ВКонтакте вы сравниваете. Facebook id — лонги). Отсортированным. Тот же ВК умеет отдавать список сортированным. Сохранить так же второй.

Открыть оба файла, считать fread($fh, 4) из каждого по числу: число А, число Б.
А больше Б ? Читаем новый Б.
Б больше А ? Читаем новый А.
Равны? Ура, это число сохраняем в «пересечение». Читаем новый А и новый Б.
Закончился один из файлов — пересечений больше нет.