Влияние LIMIT на нагрузку CPU?

Question

[Александр]

Всем привет! Имеем хайлоад проект работающий с mysql.
Есть запрос который работает с 2 таблицами.
Очень много запросов на чтение (5-6к в секунду)
Вопрос: Почему изменение limit так сильно влияет на нагрузку процессора? При limit 500 все более менее нормально, при limit 1000 нагрузка запредельная

SELECT 
                task.id,
                task.remains
            FROM Task task
         WHERE task.status = 'active'  AND task.type = 'follow_profile'  AND task.provider = 'insta'  AND task.cat = 4 AND NOT EXISTS (
                    SELECT 1 
                    FROM TaskFlow2 flow 
                    WHERE 
                        flow.url_id = task.url_id 
                        AND flow.executor_acc_id = 5905358
                  ) ORDER BY task.id ASC  LIMIT 500

EXPLAIN:

id	select_type	table	type	possible_keys	key	key_len	ref	rows	Extra
1	PRIMARY	task	range	stat_task,getlist_bot,getlist_bot_id	getlist_bot_id	6	\N	1539	Using where
2	DEPENDENT SUBQUERY	flow	index_subquery	user_url_executor	user_url_executor	8	func,const	1	Using index; Using where

Comments

[rPman]

так у тебя вложенный запрос дает теоритически почти квадрат (от логарифмов, потому что индексы, но все равно много) от количества записей.
а еще order by не бесплатный

смутно удивлен сортировкой по task.id в высоконагруженной системе, зачем О_о, это постранично данные грузишь??

upd. вспомнил ты уже задавал вопросы по нагрузке в своем проекте
давно бы уже перенесли нагруженную часть на отдельное приложение, работающее в памяти

[Александр]

rPman, перенесли на сколько это возможно. Но осталось то что перенести пока нереально.
Сортировка по таск айди, такая логика приложения. Сначала выдаем старые задания.

[Александр]

rPman, по поводу квадрата.
Ведь я правильно понимаю, он обе таблицы полностью обрабатывает. А limit обрезает уже готовый результат. Или ошибаюсь? От чего тогда нагрузка

[rPman]

сртируешь ты по task.id он во внешнем select значит sql сервер может оптимизировать сортировку и не делать вложенный селект для каждой записи, увеличивая количество записей первого, sql сервер для каждой делает свой вложенный второй селект

покажи explain запроса, спецы посмотрят может скажут что потюнить или сами увидите

upd. переносить надо было именно работу с тасками
скажи честно, откуда там у тебя 6к в секунду запросов к таскам? кто их так запрашивает?
случайно не в цикле опрашивают в ожидании изменения статуса? N-раз в секунду ;)

[Александр]

rPman, биржа заданий в соц сетях, многие работают софтом через наше апи

[Александр]

id select_type table type possible_keys key key_len ref rows Extra
1 PRIMARY task range stat_task,getlist_bot,getlist_bot_id getlist_bot_id 6 \N 1539 Using where
2 DEPENDENT SUBQUERY flow index_subquery user_url_executor user_url_executor 8 func,const 1 Using index; Using where