Какие варианты оптимизации order_by?

Question

[vikholodov]

Всем привет!
Есть база с десятками миллионов товаров, и есть опция сортировки товаров по цене, и так далее. Как ускорить сортировку товаров на столько, чтобы хотябы десятки тысяч товаров сортировались? Сейчас даже 10000 товаров вводят в ступор и выпадает [CRITICAL] WORKER TIMEOUT

Comments

[Сергей Горностаев]

Есть вариант построить индексы по полям сортировки.

[vikholodov]

Сергей Горностаев, не помогло, увы. Если я правильно понял логику, то сначала идет сортировка, а потом работает срез [:10000], т.е. это я глупость сморозил про 10000 и сортировка идет по миллионам. Какие еще варианты есть?

[Сергей Горностаев]

vikholodov, ой вэй! На больших объёмах данных пары из limit и offset сами по себе болезненные. Вообще после накопления некоторого объёма данных в базе ORM начинает больше мешать, чем помогать.

[vikholodov]

Pavel Denisov, я фильтрую по категориям, сузить объем товаров дополнительно не представляется возможным

[vikholodov]

Pavel Denisov, Спасибо, ценные советы!

Еще можно вынести цену, id товара и прочее нужное для фильтрации в sphinxsearch и им уже сортировать и делать срезы.

Также был бы безгранично благодарен за какой-нибудь мануал по этой теме, ибо поиск через сфинкс я уже реализовал

[vikholodov]

Pavel Denisov, судя по всему, проблема в paginator'е, он делает COUNT(*), отсюда и затык во всей цепочке

SELECT COUNT(*) AS "__count" FROM "core_product" WHERE "core_product"."category_id_id" IN (58382, 58671, 58672, 58673, 58674, 58675); args=(58382, 58671, 58672, 58673, 58674, 58675)