Как ускорить запрос SELECT mysql?

Question

[Dimas123]

Есть запрос к таблице data (столбцы: id / упакованный большой массив / parser / parsersecond)
В запросе берется строка

$query = "SELECT * FROM `data` WHERE parsersecond='0' AND parser='1'  LIMIT 1;";

обрабатываются данные и в этой строке меняется parsersecond='0' на '1'

Следующий запрос, уже промотает эту строку, так как parsersecond стал '1' и возьмет следующую где '0'. Проблемы начинаются когда обработаны десятки тысяч строк и у них становится parsersecond='1' . Следующий запрос выполняется всё дольше и дольше, так как проматываются эти parsersecond='1'.

Я ещё использую $res = mysql_query($query); я прочитал, что это устарело. Пока некогда изучать новое, но если это ускорит запросы изучу.

P. S. Я по гуглу изучал программирование, как небольшое хобби, так что слишком общие и научные объяснения могу не понять.

Comments

[zelebobko]

А почему бы не убрать лимит записей, сделать выборку всей таблицы и разом все не поменять?

[Dimas123]

Там очень большой объем данных. Скрипт все строки будет обрабатывать несколько суток, это не вариант. Вариант партиями может подойти, но получение новой партии, тоже наверное, будет всё дольше и дольше. Если другое не поможет, то попробую так.

Answer 1

[3vi1_0n3]

1) Добавить индексы на поля parsesecond и parser
2) Если делается просто поиск строки, а вторым запросом замена значения одного поля и данные никак не используются, то может быть просто сразу использовать UPDATE `data` SET parsesecond='1' WHERE parsersecond='0' AND parser='1'

Comments

[Dimas123]

Спасибо, попробую.

Answer 2

[Вячеслав]

Я бы вообще использовал другую логику в вашем приложении (правда, это зависит от ваших целей и сильно завязано на то, что делает ваше приложение).
Если разбор данных (вы же их зачем-то получаете) осуществляется быстро, узкое место - база данных и кроме этого вам с этими данными ничего не надо делать, я бы делал так:
Извлекаем данные большими партиями (1000-10000).
Для извлечения используем наш primary index (id), который уникален, AUTO_INCREMENT и поиск по которому идет быстро.
после окончания операции фиксируем последний обработанный id (пишем в БД в отдельную таблицу, если планируете прерывать скрипт, или просто сохраняем в переменную, если не планируете), и повторяем все заново (обрабатываем новую порцию данных).
Запрос для извлечения был бы примерно таким:

SELECT * FROM data WHERE id > :last_id ORDER BY id ASC LIMIT :limit

где last_id - последний обработанный, limit - количество элементов в нашей порции данных.
Но, опять же, все это сильно зависит от специфики приложения.

Comments

[Dimas123]

Да, выглядит разумно, и для моих задач подходит.

[Александр N++]

order by id ASC лишний, mysql по умолчанию сортирует pk в ASC также как и хранит индексы.

[Вячеслав]

Александр N++: довольно спорное утверждение. :)
я бы сказал InnoDB по умолчанию сортирует pk в ASC, а другие системы хранения могут использовать другую сортировку по умолчанию (в порядке вставки элементов, элементов, например), это зависит от конкретной реализации и не стандарт, так что на это нельзя полагаться.

Answer 3

[iliyaisd]

почему нельзя выбрать сразу все строки, обработать их и затем все сохранить?

Comments

[Dimas123]

Интуитивно чувствую что все нельзя (сотни тысяч), может только партиями, как-либо попробовать.

[iliyaisd]

ну, выбрать-то вы можете сразу (пусть не всё, но партиями), а сохранять уже или по одному, или тоже партиями меньшего объёма.