Fatal error: Allowed memory size. Как сделать запрос SQL чтобы не получать ошибку?

Question

[Dmaw]

Большая база. SQL запрос начал приводить к ошибке:

Fatal error: Allowed memory size of 1073741824 bytes exhausted (tried to allocate 4096 bytes)

Как я понимаю в запрос не влезает вся найденная им информация, сейчас я решил эту проблему через LIMIT 200000, но там должно быть около 300 000 результатов. Как такие запросы делать?

Comments

[Ипатьев]

Проблема поиска по разделу решается добавлением индекса на раздел.

[Виталий Артемьев]

Покажи код

[Dmaw]

Виталий Артемьев, там много всего, код обычный, запросы довольно длинные :)
База товаров. Делю товары на разделы, т.е. создаю отдельную таблицу, в которой товары только одной группы, в течение дня поиск происходит только по этой кеш-таблице. Основная таблица используется для ежедневного обновления товаров от разных поставщиков. 2-3 раза в сутки обновляю кеш-таблицы.

[Виталий Артемьев]

Большая база. SQL запрос начал приводить к ошибке

К ошибке приводит не sql запрос, а неоптимальное использование памяти в php. Скорее всего вы сначала вытаскиваете все строки , а потом начинаете их обрабатывать. При большом кол-ве строк так делать нельзя, нужно вытаскивать данные построчно

[Dmaw]

Виталий Артемьев, да, всё верно, одним запросом выбираю всё, потом в цикле копирую товары в новую таблицу.

while($row = $STH->fetch())
{
// тут копирую товар в другую таблицу
}

Как вытаскивать построчно? Через LIMIT? т.е. надо как-то двигаться по таблице чтобы не копировать уже скопированное.

Answer 1

[Ипатьев]

Читаем https://www.php.net/manual/ru/mysqlinfo.concepts.b...
и делаем свой запрос небуферизованным.
Ну и разумеется читаем все 300 офигиллиардов строк не сразу в массив, а обрабатываем по одной.

Comments

[Dmaw]

Делаю небуферизированный запрос на выборку нужных мне товаров и далее мне надо сделать это:

while($row = $STH->fetch())
{
    // INSERT INTO записи в другую таблицу
   //  тут я получаю общую ошибку, что нельзя использовать второй небуферизированный запрос
}

fetchAll() - тут приводит к той же ошибке Allowed memory size

[Ипатьев]

Речь про пресловутые кэш таблицы?
Вам сказали уже , что не надо заниматься этой ерундой, переливая из пустого в порожнее

Настройте нормально базу данных вместо этих глупостей со вставками!

[Ипатьев]

в принципе, в SQL есть синтаксис insert select. то есть РНР для вашей задачи вообще не нужен
но я снова повторяю, вы занимаетесь полнейшей ерундой. потому что от неграмотности не знаете как правильно работать с БД и изобретаете кривые костыли

[Dmaw]

Ипатьев, меня устраивает что большая таблица разбита на несколько маленьких, это удобно и работает быстро. Пока большая таблица обновляется, маленькие работают только на чтение. Не считаю это кривым костылём.
За помощь спасибо! Пинка Вы мне вчера дали :) Сделал пока через индексы, но хочу изучить вопрос и разобраться с той задачей, которая стоит по копированию больших данных из одной таблицы в другую.

[Dmaw]

Спасибо!
Сделал небуферизированный запрос.
Пример запроса с копированием данных в другую таблицу подсмотрел тут: https://snipp.ru/mysql/insert-into-select

INSERT INTO `table_a` (`name`, `alt`, `page`) 
SELECT 
	`name`, 
	`alt`, 
	`page` 
FROM 
	`table_b` 
WHERE 
	`id` IN(1,2,3)

[Ипатьев]

Осталось понять, при чем здесь небуферизированный запрос. и вообще РНР.