Как реализовать бинарный поиск в базе Django?

Question

[cicwak]

Захотелось сделать мини приложения, подготовил базу состоящую из 10 млн уникальных имен(и еще таблица на 9 млн фамилий, тоже уникальных). Но производя поиск по этим базам, один запрос выполняется ~1.5 секунды. Что долго, но я делаю 2 запроса(имя и фамиилия), в итоге 3.

Уточнение, база находится в отсортированном состояние, по именам и фамилиям(от меньшего к большему).

Вопросы у меня возникли такие:
1. Повлияет, если повлияет то как, перенос всех данных из sqlite3 в postqresql в самом django?
2. Можно ли мгновенно получать значение из базы sqlite3 по индексу? И если можно, то прошу показать пример как это сделать в модели джанго.

На данный момент получаю значение вот так:

try:
        name_count = Names.objects.get(name=name).count
except ObjectDoesNotExist:
        name_count = 1

Это размеры таблиц:


А это что хранится в таблицах:

Answer 1

[Roman K]

1. Очень сомневаюсь.
2. Запрос Names.objects.get(name=name).count прекрасно использует индекс, если ты его, конечно, создал. 14 миллионов строк для индекса, тем более, уникального — очень мало. А если не создал, то это фулскан и очень долго

Comments

[cicwak]

Спасибо за уточнение во втором пункте, создал индекс и скорость выросла с 3 секунд(2 запроса), до 11 мс(2 запроса).
Спасибо

[Roman K]

cicwak, можно ещё сэкономить, хотя на одном объекте экономия вряд ли будет. Заменить Names.objects.get(name=name).count на Names.objects.values_list("count", flat=True).get(name=name)

Это позволит джанге не строить тяжеленные объекты её ORM

[cicwak]

Roman Kitaev, работа чуть замедлилась(было 11 мс, стало 19 мс, не критично вообще), но при запуске приложения теперь нет прогрузки БД(шла секунд 10 при первом запросе).
Еще раз спасибо

[Roman K]

cicwak, нет такого понятия, как "прогрузка бд" и values_list не может замедлять так сильно. Дело не в этом, что-то изменилось