Как сделать срез в Django ORM без all()?

Question

[Northxstar]

Ситуация проста до безобразия. На страницу прилетает содержимое таблицы через пагинацию, но пагинация режет queryset уже после выполнения запроса к базе, а запрос выглядит так:

fooset = barmodel.objects.all().order_by('-foobar')

Поскольку в таблице порядка 10000000 строк, запрос идет некультурно долго. Как реализовать пагинацию на моменте запроса, без использования all(), что писать в фильтр?
Сейчас пагинация делается так:

current_page = Paginator(fooset,15)
page = request.GET.get('page')
try:
  context['foo'] = current_page.page(page)  
except PageNotAnInteger:
  context['foo'] = current_page.page(1)  
except EmptyPage:
  context['foo'] = current_page.page(current_page.num_pages)

Comments

[Дмитрий Свиридов]

"но пагинация режет queryset уже после выполнения запроса к базе"
Уверены?

[Northxstar]

Дмитрий Свиридов, да. Выполняется all(), а уже после включается пагинация. Других решений пока не встретил

[Дмитрий Свиридов]

Northxstar, то есть Вы посмотрели логи базы данных и увидели, что в запросе, который в нее приходит, отсутствует LIMIT?

[Northxstar]

Дмитрий Свиридов, limit 15, что удивительно, есть. Однако на таблице в 1000 записей все летает отлично, а на большой (как в треде) по минуте. Возможно, корень зла в order_by, однако как это обойти?

[Дмитрий Свиридов]

Northxstar, я в ответе на вопрос объяснил, в чем дело

Answer 1

[Дмитрий Свиридов]

Если Вы считаете, что из базы в данном случае вытаскиваются все записи, а потом на уровне кода часть из них обрезается, то это не так. all() не делает запрос к базе. Запрос вместе с LIMIT выполняется уже внутри пагинатора.

Это я к тому, что, скорее всего, Вы увидели, что страница с пагинатором грузится безумно долго и предположили, что из базы выгребаются все записи, но это совсем не так. Долго это выполняется потому, что на таком количестве строк стандартные решения пагинации будут в принципе работать плохо, потому что на "дальних" страницах курсор базы данных будет перебирать все записи, идущие до этой страницы. Кроме того, пагинатор выполняет count-запрос, который выполняется долго, потому что это фулскан всей таблицы, где миллионы записей.

Answer 2

[Сергей Горностаев]

Во-первых, вам не нужен all, можно просто

fooset = barmodel.objects.order_by('-foobar')

Во-вторых, у класса QuerySet переопределена операция среза, так что fooset[:100] превратиться в select с limit 100.