Недостаточно оперативной памяти из-за большого количества переменных в массиве php?

Question

[olezhenka]

Мне нужно запарсить несколько миллионов id юзеров в вк, а затем сравнить их со своим списком где юзеров тоже много и найти пересечение. Я это сделал и получил ошибку что недостаточно памяти. Максимум в настройках скрипт может потреблять 126 мб, мне нужно уложиться в меньшее потребление, это возможно? Можете привести пример как работают подобные сервисы — stats.ecotime.me/comparisons, хотя бы словами. Ведь, там много пользователей хотят сделать пересечение, а память не бесконечная.

Answer 1

[Stalker_RED]

Вместо обычного массива можно использовать SplFixedArray или даже Judy array.

Но не лучше ли это делать в базе данных?

Comments

[Fortop]

именно в БД делать и нужно

[olezhenka]

Fortop, в бд нагрузки меньше будет? И мне придется добавлять всех юзеров по штуке.
А потом получать всех и через цикл сравнивать их также по штучно?

[Fortop]

olezhenka, в БД нагрузки меньше не будет.
Но БД позволяет вам делать аналитические запросы по связям

Например.
Выберет вам сразу всех пользователей которые есть и в вк и у вас.

SELECT * FROM vk_users
JOIN my_own_list_users ON vk_users.id = my_own_list_users.id

Позволит добавлять условия к вашим пересечениям

SELECT * FROM vk_users
JOIN my_own_list_users ON vk_users.id = my_own_list_users.id
WHERE vk_users.gender = 'm' OR my_own_list_users.age> 50

P.S. Естественно примеры кода используют абстрактные таблицы придуманные мной.
Вам же их нужно будет предварительно заполнить данными. И продумать их структуру

Answer 2

[Егор]

Выгружать данные нужно порциями. Например по 1000 шт. за 1 запрос.