Если ли ограничение на длину SQL запроса (большой IN)?

Question

[Александр]

Приветствую!
Есть большая таблица на 30 колонок и 5 млн строк. Необходимо пройтись по каждой строке, и совершить дополнительную обработку данных. Решил выбирать строки порциями по 100 тыс строк за раз.

Делаю в два прохода:

1. Сначала циклом выбираю по 100-300 тыс id
SELECT id FROM tbl LIMIT X, 100000

2. Вторым запросом по этим id вытягиваю остальные колонки:
SELECT * FROM tbl WHERE id IN (...)

Насколько корректно перечислять в блоке IN - 100 тысяч id? А 300 тысяч?
Есть ли ограничение на длину запроса? Как добиться максимальной скорости выполнения?

Буду признателен, если поделитесь опытом. Спасибо.

Comments

[Adamos]

Насколько я знаю SQL, LIMIT 0, 100 совершенно необязательно выдаст вам первые 100 id по порядку.
Для этого нужно уточнить ORDER BY id.
Ну, и два запроса к одной и той же таблице, чтобы сначала выбрать id, а потом строки с ними - это уже за гранью где-то. Дайте угадаю - потом еще идет третий, UPDATE? Или - по UPDATE на каждую строчку?
Может, лучше озвучить саму задачу?

Answer 1

[Александр Аксентьев]

А в чем сакральный смысл выбирать сначала айдишники с LIMIT OFFSET, а потом делать второй запрос через IN?

Почему нормально не выбирать через лимит полные данные?

Comments

[Александр]

Эксперимент провел - получилась стократная разница в скорости. Поэтому и разбил на два запроса.

Answer 2

[Alj]

В запросе нет ORDER BY - БД не должна возвращать строки по порядку.

Достаточно
SELECT * FROM tbl ORDER BY id LIMIT X,100000
X = 0 , 100000 , 200000 , ...