Как разделить запрос на подзапросы?

Question

[WebDev]

Здравствуйте, у меня есть таблица с товарами, и несколько таблиц с разными опциями этих товаров. Нужно выбрать все товары и все опции. Отдельным запросом выбираю все товары, затем собираю их id и выбираю все опции по WHERE IN. Проблема в том что id продуктов может быть много тысяч, и запрос обрывается. Как можно получить все опции в таком случае?

Answer 1

[Александр Аксентьев]

Зачем выбирать опции сразу для тысяч товаров?

Comments

[WebDev]

Нужно экспортировать их в excel

[Александр Аксентьев]

kirill-93: таки вопрос остается, зачем выбирать сразу для всех? По очереди или пачками небольшими, либо сразу все через консольный скрипт который не оборвется

[WebDev]

А как сделать чтобы пачками? На сайте чекбоксы нужных категорий, человек выбирает нужные и товары их этих категорий пишутся в excel. В гугле ничего похожего не нашел. Консольный скрипт не подходит

[Александр Аксентьев]

kirill-93: тогда увеличить время до таймаута пхп/веб сервера. И не выбирать опции для тысяч товаров. Это вообще странно. Выбираем все товары, потом циклом по ним идем и выбираем для каждого товара опции. Как оно работает выбирая сразу все опции не представляю, но это плохое решение. Собственно больше вариантов особо нету.

[Rsa97]

Нет, выбрали 10000 товаров, сделали запрос опций на первые 100, затем на вторые 100 и так сто раз.

[WebDev]

Александр Аксентьев: Таймаут слишком большой получается. Если совсем все товары выбирать - то получится тысяч 70. Ну неужели это такая нетривиальная задача, когда нужно выгрузить все файлы в excel?

[WebDev]

Rsa97: Я пробовал так, получил товары, разбил их на маленькие массивы, и в foreach выбрал опции. Суммарно такое же время получилось, или вы что то другое имеете ввиду?

[Александр Аксентьев]

kirill-93: 70 тысяч товаров через сайт вы вряд ли сможете забрать всем скопом, тем более с кучей опций в соседних таблицах.

[Александр Аксентьев]

kirill-93: единственный вариант который я могу представить это связка AJAX+PHP, делаем ajax запрос каждые 500-1000 товаров. Т.е. цикл запросов будет, и записывать результаты в файл на хостинге, и когда товары кочаются отдаем ссылку для загрузки. В общем получается жмем экспорт -> запрос ушел -> получили ответ что 500-1000 торваов записаны в файл, тут же вызываем следующий запрос на экспорт второй страницы ну и т.д.

[Rsa97]

А насколько необходимо делать выгрузку в excel в онлайн-режиме? Не проще ли периодически запускать offline-выгрузку по cron'у в CLI-режиме

[WebDev]

Спасибо за советы. Сейчас пробую частями загружать в файл в json, а потом разом зачитать и конвертировать в excel. Вроде получается

[WebDev]

Rsa97: Контент менеджеры редактируют товары пачками через excel и обратно заливают. Удобно

Answer 2

[Кирилл Нетёсин]

Пробовали увеличить max_allowed_packet ?