Как правильно делать поиск по ключу вложенного документа MongoDB?

Question

[Александр Баталов]

Дано:

{
   _id : 1,
   attrib : {
         a : {obj1},
         b : {obj2}
   }
}

Задача: проверять на существование объектов (a, b).


Предложенный в мануале способ медленный и индексы не использует:

db.coll.find({'attrib.a' : {$exists : 1} }) // медленно, индексы не используются

db.coll.find({attrib : {a : {$exists : 1}} }) // нигде не предложенный способ, который к тому же не работает ))

db.coll.ensureIndex({attrib : 1}) // Нет эффекта для поиску по индексу
db.coll.ensureIndex({'attrib.a' : 1}) // Нет эффекта для поиску по индексу

Как правильно расставлять индексы, чтобы поиск на существование ключей (a, b) был быстрым?

Answer 1

[gelas]

прямо с $exists: true видимо ничего не получится.
Но можно попробовать извернуться несколькими способами:
1. Добавлять служебное поле, которое и индексировать. Это может еще и хорошо сказаться на размере индекса, особенно если a и b большие, то целицом их индексировать ради $exists расточительно.

2. Если a и b всегда одного типа, можно попробовать использовать такой запрос db.coll.find({'attrib.a': {'$type': 3}})
По крайней мере, если верить explain'у, то индекс он использует.

Comments

[Александр Баталов]

Про вариант с поиском по типу тоже думал, но тогда нужно делать отдельный индекс на каждый attrib.[key], что мне не очень-то нравится. Пока больше нравится вариант со служебным полем, но так все равно теряется весь смысл с хранением объектов в виде документов. Если ничего красивее не получится найти, то наверное буду хранить объекты в массиве, в куче.

[gelas]

Отдельный индекс на каждый attrib.key прийдется делать только если надо раздельно проверять наличие каждого из ключей. Но тогда неважно, что именно проверять, тип или само значение, все равно пришлось бы делать отдельные индексы. А если a и b вместе, то составной индекс вполне подойдет.

По-поводу потери смысла, ничего сказать не могу, очень мало данных о задаче. Может там вообще без $exists можно обойтись как-то. Да и странно по-моему, что только из-за индекса, массив станет лучше документов.

[Александр Баталов]

Мне не очень нравится именно, что под каждый ключ создавать индекс. Если хранить не в виде документов, а обычным объектом, то можно сделать индекс вида ({attrib.key},{unique: true}), и тогда мы на практике получаем ту же защиту от дублирования и единый индекс.
И раз уж такое дело, объясните, вот что: на разный форумах пишут, что ensureIndex нужно выполнять либо после каждой вставки, либо перед выборкой. Правда ли это? Просто я наблюдаю, что все данные и так попадают в индекс, после того, как я его единожды создаю.

[Александр Баталов]

По поводу ({'attrib.key': 1},{unique: true}) я поторопился, выходит, что уникальным должно быть значение глобально, для всего документа, а не только в пределах объекта.

[gelas]

А чего вы пытаетесь добиться, чтоб в один attrib нельзя было добавить 'b', который равен 'a'?

По-поводу ensureIndex, не вижу ни единой причины постоянно его вызывать, кроме как «случайно забыл создать раньше » или «кто-то постоянно удалят мои индексы».
Почему советуют на форумах не ясно, может они пишут причину?
Или заглянули б в исходники, что там на самом деле происходит
(псевдокод):

function ensureIndex(params):
     if __internal_index_cache.exists(params):
          return 
     else: 
          collection.create_index(params)

т.е. многократный вызов ни к чему не приведет.

[Александр Баталов]

Причины особой нет, просто хотел хранить в более логичном виде, чем просто набор объектов. Но и так хорошо, тем более, что все равно по скорости выигрыша нет.

Answer 2

[SnakeSolid]

Не совсем понятна суть вопроса, если имеется в виду получение всех документов содержащих attrib.a. Тогда можно использовать разряженные индексы:

> db.ttt.find(); // документы коллекции
{ "_id" : ObjectId("50377f098537d96af9ea28ae"), "attrib" : { "a" : { }, "b" : { } } }
{ "_id" : ObjectId("50377f0c8537d96af9ea28af"), "attrib" : { "b" : { } } }
{ "_id" : ObjectId("50377f0f8537d96af9ea28b0"), "attrib" : { "a" : { } } }
{ "_id" : ObjectId("50377f138537d96af9ea28b1"), "attrib" : { } }

> db.ttt.ensureIndex({'attrib.a':1}, {sparse : true}); // разряженный индекс
> db.ttt.find().sort({'attrib.a':1}); // в результате будут только документы содержащие attrib.a
{ "_id" : ObjectId("50377f0f8537d96af9ea28b0"), "attrib" : { "a" : { } } }
{ "_id" : ObjectId("50377f098537d96af9ea28ae"), "attrib" : { "a" : { }, "b" : { } } }

> db.ttt.find().hint({'attrib.a':1}); // явно указан индекс
{ "_id" : ObjectId("50377f0f8537d96af9ea28b0"), "attrib" : { "a" : { } } }
{ "_id" : ObjectId("50377f098537d96af9ea28ae"), "attrib" : { "a" : { }, "b" : { } } }

Сразу можно документы с определенным значением attrib.a отбирать. Если необходимо проверять наличие объектов в определенном документе, тогда такой вариант скорее всего не подойдет.