'Allowed memory size of 134217728 bytes exhausted' Почему это происходит с PDO, при выборке всего 27k записей?

Question

[dmx00]

Пытаюсь выбрать 27к строк (нужно сделать отчет), но выкидывает с ошибкой "Allowed memory size of 134217728 bytes exhausted' . Проблему я обошел и не выбираю всё сразу, а делаю это построчно. Был бы благодарен если бы рассказали почему при выборке таблицы приблизительным размером 18 MiB, PDO падает хотя ограничение доступной памяти установлено в 128 MiB.
(php 5.6 если это важно)

Померил количество поглощаемой памяти другим способом и оно оказалось огромно 174660600 bytes при 38520 записей (взял побольше чтобы лучше видеть разницу). Получается что на 1 стоку приходится ~ 4534 байта. Ну не слишком ли это для
id int(11)
f2 tinyint(1)
f3 int(11)
f4 datetime
f5 datetime
f6 varchar(255) utf8mb4_unicode_ci
f7 varchar(255) utf8mb4_unicode_ci
f8 varchar(255) utf8mb4_unicode_ci
f9 varchar(255) utf8mb4_unicode_ci
f10 int(11)
f11 int(11)
f12 text utf8mb4_unicode_ci
f13 varchar(36)
Если только PDO не выделяет по факту, а чисто по декларации поля ... тогда там наберется. Но это очень странно... (мягко говоря)

Comments

[AlikDex]

может что-то не так делаете? Для чего вас 27к строк? Возможно отчет можно будет сделать несколькими запросами с нужными выборками.

[dmx00]

ну решения есть целых два, делать подзапросы по всем требуемым "цифрам" отчета, либо читать построчно, я выбрал второй, потому что меньше кода и в целом сложность меньше. Я обновил основной пост, чуть прояснив ситуацию с памятью.

[FanatPHP]

ващет text - это 64 килобайта. поэтому 4534 получается совсем немного. откуда дровишки про 18 MiB?

[dmx00]

FanatPHP: Это размер текста таблицы по факту (mb_strlen)

Answer 1

[FanatPHP]

Единственная независящая от программиста причина, по которой PDO будет жрать память, это буферизованные по умолчанию запросы. поэтому если перед выполнением запроса написать

$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, FALSE);

То ошибка исчезнет.
Остальные рекомендации настолько очевидны, что я постеснялся их писать сначала.

1. При выборке большого объема данных fetchAll() использовать не рекомендуется.
2. Если все же хотим использовать, то надо убрать двойное заполнение массива

$pdo->setAttribute(PDO::ATTR_DEFAULT_FETCH_MODE, PDO::FETCH_ASSOC);

Все остальные претензии по памяти предъявлять РНР и собственному коду.

Comments

[dmx00]

Сократилось с 174660600 до 146309744. Впрочем тоже неплохо (спасибо за информацию), но проблему не решило. Если бы я мог разобраться самостоятельно с высчитыванием реального размера записи - я бы не задавал вопрос. В корректном подсчете памяти занимаемой записью и состоит весь интерес.

[FanatPHP]

dmx00: я думаю, проблема не в пдо, а в том самом "отчете". в любом случае, вопрос в данной формулировке бессимысленный, системы "дорогие ученые, объясните откуда у меня происходит подземный стук". Ни кода, ни тестового примера в вопросе нет. Сидеть гадать, что за глупость в коде наворочена смысла нет ни малейшего.

[dmx00]

FanatPHP: Код крайне сложен и неоднозначен, он вот такой:
--
$db_pdo = new PDO($dsn, $username, $password);

$db_pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, FALSE);

$sql = "select * from table";

$before = memory_get_usage();

$stmt = $db_pdo->prepare($sql);
$stmt->execute();
$items = $stmt->fetchAll();

$after = memory_get_usage();

echo ($after - $before);
--

[FanatPHP]

dmx00: ну кто ж тебя заставляет fetchAll-то юзать, милок?

[FanatPHP]

dmx00: кстати, рекомендую семерку. количество потребляемой памяти может упасть вдвое.

[dmx00]

FanatPHP: Перестаньте фамильярничать и уважайте своего собеседника. И только не надо говорить, что это у Вас такой стиль общения. Это не стиль общения это невоспитанность.
Вы внимательно читали основной пост? там сказано что я решил проблему, а в комментариях (к основному посту) приводил варианты решения. Дело не в том что можно выбирать построчно, а в том что fetchAll внезапно (ну по крайней мере для меня) занимает слишком много памяти и я собственно хотел разобраться в механизме распределения памяти.
По поводу php7 - это пока не вариант, слишком много legacy.

[FanatPHP]

dmx00: обновил ответ. без фамильярности.

[dmx00]

FanatPHP: совсем забыл про задвоенность результата в PDO, фреймворки всё-таки расслабляют.., мои вопросы, конечно, больше к PHP и к тому, что он делает с памятью (даже с указанными настройками PDO, таблица в памяти занимает ~97MIB, а в базе 17MIB), но, видимо, стоит закрыть вопрос.