Как оптимизировать постраничный вывод из большого объема данных?

kazmiruk: KEY `type_main` (`type`) - этот индекс создавался специально для экспериментов.

Как оптимизировать постраничный вывод из большого объема данных?

PrAw: по этому запросу не совсем понятно:

SELECT * FROM posts USE INDEX(type, updated,offset)
WHERE type=1 AND updated

как обеспечивается сортировка? offset - это те же данные из updated, полученные из предыдущей выборки.

делал такой запрос:

SELECT * FROM posts USE INDEX(type_main, flag_sort)
WHERE type=1 AND updated

EXPLAIN выдает такое же количество строк, как и при использовании первоначального запроса.

Как оптимизировать постраничный вывод из большого объема данных?

PrAw: вот выдача:

CREATE TABLE `posts` (
...
`type` int(11) unsigned NOT NULL DEFAULT '0',
...
`updated` int(11) unsigned NOT NULL DEFAULT '0',
...
KEY `flag_sort` (`updated`),
KEY `type_main` (`type`)
KEY `composite` (`type`,`updated`),
) ENGINE=InnoDB AUTO_INCREMENT=53998754 DEFAULT CHARSET=utf8

Как правильно составить SQL запрос?

Да, на высоких нагрузках это решение работает на 30-40% быстрее, чем прямой запрос без JOIN.

Как правильно составить SQL запрос?

Решил использовать решение из своего предыдущего комментария. Если посты генерировали только пользователи сайта, то можно вообще обойтись без сортировки (выводить по POST_ID), но они идут не в хронологическом порядке, дополнительный FLAG_SORT будет оптимальным решением

Как правильно составить SQL запрос?

Александр По EXPLAIN все хорошо, составной индекс выбирается для запроса. Судя по длине, используются обе части ключа (OWNER_ID и CREATED), но обратная сортировка куда медленнее прямой (по индексу на основе OWNER_ID и FLAG_SORT).

Как правильно составить SQL запрос?

Пробовал, но обрабатывается также медленно. Временное решение, которое нашел - сделать дополнительное поле FLAG_SORT, которое формируется на основе даты (FLAG_SORT = 4294967295 - CREATED) и по нему сформировать составной индекс. Тогда все работает быстро. Как понимаю, MySQL при создании индексов не использует обратную сортировку, поэтому вторая часть запроса (ORDER BY) выполняется без использования индекса.

Как правильно составить SQL запрос?

Александр Можно как-то сделать составной индекс с обратной сортировкой по полю?

Как правильно составить SQL запрос?

В результате пока пришел к такому решению. Сделал дополнительное поле FLAG_SORT, которое формируется на основе даты создания (FLAG_SORT = 4294967295 - CREATED), далее по нему и OWNER_ID сформировал составной индекс. Конечно, это костыль, но с его использованием скорость обработки значительно возросла.

Как правильно составить SQL запрос?

lega а как выставить у индекса именно обратную сортировку?

Как правильно составить SQL запрос?

В том то все и дело, что поле owner_id обрабатывается относительно быстро. Сложность с обратной сортировкой по дате, занимает до 80% времени запроса.

Как правильно составить SQL запрос?

Попробовал составной индекс, скорость возросла, но не слишком сильно. При увеличении размеров таблицы она стабилизировалась на одном уровне, ниже не падает, но много времени занимает обратная сортировка по дате.

Как правильно составить SQL запрос?

Если посты поступали только от пользователей сайта, то можно все отсортировать по POST_ID (они идут в хронологическом порядке), но мои данные идут миксом (часть от пользователей, часть из других соцсетей, где они собираются пакетами через API, по времени записи идут в разном порядке).

Как правильно составить SQL запрос?

Хм, а как тогда оптимизировать обратную сортировку по дате? Опытным путем понял, что все упирается в нее, если ее убрать, то скорость возрастает в разы. Также скорость сильно зависит от количества выборки сообщений для сортировки (3000 сообщений обрабатываются в 2 раза медленнее, чем 1000).

Как долго проходит проверка приложения Instagram API?

Здравствуйте. Скажите, Вам удалось решить вопрос с получением разрешений для API Instagram? Если да, то готов купить одобренные аккаунты. В случае интереса пишите на почту [e-mail]

Как получить инстаграм ключ без предоставления данных о своем приложении?

Здравствуйте. Скажите, Вам удалось решить вопрос с получением разрешений для API Instagram? Если да, то готов купить одобренные аккаунты. В случае интереса пишите на почту [e-mail]