Как получить всех людей начинающихся с перечня букв?

Question

[WebDeveloper2016]

В БД лежит список людей. Надо если people.name начинается с буквы находящейся в перечне то забрать его из БД. Как такой фильтр сделать? Т.е. это не просто filter startswith, а чтобы именно с любой из букв в перечне могло имя начинаться. Например забрать всех людей, имя которых начинается с В по Д. Причем обязательно это запросом сделать надо. Нельзя забрать весь список и средствами питона отфильтровать нужных.

Нашел вот такой способ (правда пока не проверял)

Model.objects.filter(any([Q(name__startswith=letter) for  letter in 'abc']))

но не знаю как добавлять к нему другие условия. Т.е. у меня есть помимо этого и другие фильтры к тому же запросу.

Answer 1

[Макс]

На небольших таблицах можно регулярочкой
Model.objects.filter(name__iregex=r'^([в-д])')

Comments

[neatsoft]

Во многих ситуациях regex незаменим, но в данном случае он может привести к существенному падению производительности. При использовании postgresql запрос будет выполняться вдвое медленнее, при использовании mysql - в разы (т.к. mysql не умеет использовать индексы для оптимизации regex). Если таблица небольшая, этим можно пренебречь, но лучше использовать более универсальное решение.

[WebDeveloper2016]

neatsoft: Блин весь кайф обломал. А я то уже подумал - вот оно красивое и короткое решение. :( :D

[neatsoft]

Макс Полетаев:
Мне решение с regexp тоже нравится своей лаконичностью, но нужно понимать границы его применимости. На больших таблицах запрос с десятком лайков на проиндексированном поле выполняется моментально, regexp - с ощутимой задержкой:

like * 10:
20746 строк - '0:00:00.016564'
77826 строк - '0:00:00.014466'
363406 строк - '0:00:00.015869'

regexp:
20746 строк - '0:00:00.072798' (в 4 раза медленнее)
77826 строк - '0:00:00.154604' (в 10 раз)
363406 строк - '0:00:00.656853' (в 40 раз)

сервер - E5-2670 v2, 32GB
таблицы - InnoDB, с реальными данными

Двукратная разница в производительности для нагруженного проекта - это два сервера вместо одного, десятикратная - десять серверов.

Answer 2

[Roman K]

letters = 'абвгд'
Model.objects.filter(reduce(
    lambda x,y: (isinstance(x, Q) and x or Q(name__istartswith=x)) | Q(name__istartswith=y), 
    letters
))

# Или

from operator import or_
Model.objects.filter(
    reduce(or_, (Q(name__istartswith=l) for l in letters))
)

Разбирайся :)

Comments

[neatsoft]

Гвидо ван Россум исключил функцию reduce из стандартной библиотеки более 10 лет назад - www.artima.com/weblogs/viewpost.jsp?thread=98196 , вместо нее необходимо использовать functools.reduce

[neatsoft]

оба примера вызовут исключение при letters = ''

Answer 3

[neatsoft]

import operator
import functools

from django.db.models import Q

from .models import Item


def get_items(letters=''):
    items = Item.objects.filter(active=True)
    items = items.exclude(id__lt=100).exclude(id__gt=200)
    if letters:
        q = functools.reduce(operator.or_, (Q(name__istartswith=l) for l in letters))
        items = items.filter(q)
    return items

get_items('abc')

from django.db.models import Q

from .models import Item


def get_items(letters='', active=None):
    q = Q()
    if len(letters) == 3 and letters[1] == '-':
        letters = (unichr(c) for c in range(ord(letters[0]), ord(letters[2]) + 1))
    for letter in letters:
        q |= Q(name__istartswith=letter)
    if active is not None:
        q &= Q(active=active)
    return Item.objects.filter(q)

get_items(u'абвгд')
get_items(u'в-д')
get_items(u'а-я', True)

Comments

[WebDeveloper2016]

Но ведь тут кажется получится сразу несколько запросов к БД? Мне надо одним.

[Roman K]

Это не заработает. И какой смысл переписывать мой ответ?

[WebDeveloper2016]

Roman Kitaev: думаю он хотел ответить на вторую часть моего вопроса: про то как добавить еще фильтров.

[Roman K]

WebDeveloper2016: .filter и пошёл дальше фильтры навешивать. Как и всегда.

[WebDeveloper2016]

Roman Kitaev: просто мне еще не приходилось делать несколько фильтров сразу. :D Я только начал django осваивать...

[neatsoft]

WebDeveloper2016: ORM в джанго "ленивая" - обращается к базе только в тот момент, когда требуются данные, поэтому запрос будет только один (но с несколькими условиями)

[neatsoft]

Roman Kitaev: 1. в актуальной версии python нет функции reduce, вместо нее нужно использовать functools.reduce; 2. если список букв пуст, то reduce вызовет исключение, поэтому требуется дополнительная проверка; 3. автора вопроса интересовало как можно задать дополнительные условия, в моем ответе эта тема раскрыта.

[neatsoft]

WebDeveloper2016: пример запроса, который формирует ORM:
>>> print Item.objects.exclude(active=False).filter(reduce(operator.or_, (Q(name__istartswith=l) for l in 'abc')))[40:60].query
SELECT `appname_item`.`id`, `appname_item`.`name`, `appname_item`.`slug`, `appname_item`.`image`, `appname_item`.`active` FROM `appname_item` WHERE (NOT (`appname_item`.`active` = False) AND (`appname_item`.`name` LIKE a% OR `appname_item`.`name` LIKE b% OR `appname_item`.`name` LIKE c%)) ORDER BY `appname_item`.`name` ASC LIMIT 20 OFFSET 40

[Roman K]

neatsoft:
1. from functools import reduce и она снова в области видимости. Импорты, наверное, каждый школьник, пришедший в питон проходит чуть ли не первым делом. Как раз-таки использовать reduce более pythonic way, нежели functools.reduce, только если у тебя не несколько функций, названых reduce используются.
2. Мы не рассматриваем случай, когда список букв пуст, т.к. вопрос заключается в том, как создать запрос в БД на этот самый список букв.

Опять же, повторюсь, твой пример работать всё равно не будет :)

[neatsoft]

Roman Kitaev:
- в соответствии с PEP 8 оба способа импорта являются равнозначными - https://www.python.org/dev/peps/pep-0008/#imports , но в python 2 "from functools import reduce" приведет к переопределению встроенной функции reduce, поэтому в данном случае "import functools" является предпочтительным способом (functools.reduce и просто reduce - разные функции)
- фильтрация результатов - типичная задача, пустой фильтр - типичная ситуация, граничные значения нужно проверять всегда
- у "и пошёл дальше фильтры навешивать" есть название - модификация QuerySet
- за конструкции типа "lambda x,y: (isinstance(x, Q) and x or Q(name__istartswith=x)) | Q(name__istartswith=y)," нужно бить по рукам, т.к. это уродливо и нечитаемо
Не жалко тратить время на разведение срача в комментах и попытки поучения более опытных коллег?

[Roman K]

neatsoft: /facepalm

[WebDeveloper2016]

neatsoft: вроде все понял в вашем запросе, кроме одного - что такое active? В чем его предназначение?

[neatsoft]

WebDeveloper2016: active - пример дополнительного условия, предполагается что у модели есть поле с таким именем

[WebDeveloper2016]

neatsoft: так и подумал. Уже потом. :D