Можете выбирать только нужные вам данные. Существенно ускорит выборку
queryset = User.objects.custom_filter(is_verified=True).values('name', 'any-field').order_by('-date_joined')
Очень рекомендую читануть статью на
хабре
Ко всему прочему не забывайте кешировать
