Почему yii сьедает так много памяти при больших запросах?

Question

[Альберт Табак]

Я делаю запросы через Yii::app()->db->createCommand которые в итоге получаються достаточно большими (100-150 тысяч симовлов). Возвращают эти запросы не большие данные. Проблема состоит в том что Yii где хранит историю запросов и когда в форыче я делаю 100 ( а мне надо их сделать 20 000 :) ) таких запросов у меня фатал

Fatal error: Allowed memory size

.

Запрос который я делаю

$ids = Yii::app()->db->createCommand()
                    ->select('user_id')
                    ->from('user_community')
                    ->where("community_id = :community_id AND user_id IN({$subjectsIn})", [
                        ':community_id' => $communityId
                    ])
                    ->queryColumn();

subjectsIn

- это и есть строка из 120 тысяч симоволов.
Собираюсь использовать TEMP TABLE, но хотелось бы конечно обойти это ограничение Yii

Собственно как это обойти ?

Answer 1

[Алексей Ostin]

Покажите код, это намного увеличит вероятность нахождения правильного решения.

Проблемы может быть две:
1) При каждой итерации создаются новые объекты и не очищаются по завершению
2) Объекты очищаются, но из-за большого размера и малого количества не обрабатываются сборщиком мусора

Для решения первой проблемы достаточно делать unset для ненужных объектов

Для решения второй - делать gc_collect_cycles. Поскольку эта операция трудоемкая, можно делать ее раз в 10/100/1000 циклов, подберите сами.
На тему сборки мусора: php.net/manual/ru/features.gc.performance-consider...
Если вкратце, сборщик мусора вызывается при достижении кол-ва неиспользуемых объектов 10000. Поэтому, если объекты большие и 10000 штук не влезает в память, будет переполнение.

Comments

[Альберт Табак]

Спасибо за развернутый ответ, проблема не в php а именно в yii. Привожу код

[Алексей Ostin]

Если у вас не умещается результат одного запроса, то, опять же, есть нессколько вариантов:

1) пробуете использовать итераторы
2) разбиваете обработку данных на несколько "пачек" средствами MySQL (LIMIT,OFFSET) и обрабатываете каждую
3) не используете объекты, а работаете напрямую с PDO

Тут еще важно, что вы делаете потом с таким количеством ID. Может быть найдется способ отказаться от загрузки всех идентификаторов.

[Алексей Ostin]

И есть метод чуть проще итераторов:
вместо queryColumn() вызывать просто query(), который возвращает CDbDataReader, по которому уже можно итерировать.

[Evgeny_Shestakov]

как получаете этот $subjectsIn - массив? может лучше не хранить его в памяти вообще, а делать запрос вида SELECT * FROM table1 WHERE id IN (SELECT id FROM table2); т.е. место ... AND user_id IN({$subjectsIn}) ... переписать на ... AND user_id IN (SELECT user_id FROM `user_community` WHERE condition) ...

Answer 2

[Дмитрий Донковцев]

Batch, наверно это должно помочь, почитайте.

Comments

[Альберт Табак]

У меня проблема не с результатом (он то как раз минимальный) а именно с тем что yii хранит все запоросы в течении одного реквеста ( то есть на каждую итерацию внутри CDbCommnad сохраняеться +1 елемент массива как строка в 150 тысяч символов :)). Ну и ещё это yii 1.

Answer 3

[Илья Белобородов]

<?php ini_set("memory_limit", "1000M"); ?>

Answer 4

[Оптимус Пьян]

Перепишите конкретно этот блок с запросами на PDO или mysqli и всё станет отлично

Answer 5

[Александр Мелеховец]

Отключите в cdbconnection дебаг, профайлинг и всё такое.

Answer 6

[Evgeny_Shestakov]

как получаете этот $subjectsIn - массив user_id? может лучше не хранить эту переменную в памяти вообще, а делать запрос вида SELECT * FROM table1 WHERE id IN (SELECT id FROM table2); т.е. место ... AND user_id IN({$subjectsIn}) ... переписать на ... AND user_id IN (SELECT user_id FROM `user_community` WHERE condition) ...