Как оптимизировать запрос mongodb?

Question

[Станислав]

Привет всем, может подскажите как можно оптимизировать запрос ниже или быть может вовсе пересмотреть структуру документа. Любая информация будет полезна.

Есть документы вида, перечисляю только самые важные поля

{
    url: 'string',
    public: 'number',
    tags: 'Array(String)',
    catalog: 'ObjectId()'
}

Вот пример заполненного документа

{
    url: 'url-1',
    public: 1,
    tags: [ 'чай', 'кофе' ], // В большинстве своем содержит от 5 до 12 значений
    catalog: ObjectId('db.catalogs._id')
}

Запрос тупит когда мне нужно сделать выборку похожих записей отсортированных по полю tags, в случае когда документов с идентичными тегами немного, запрос выполняется относительно быстро, но если таких документов тысячи, то уже выполняется порядка 1.5-2сек. Что совсем уж плохо.
Вот сам запрос

return Collection
        .aggregate([
            {
                $match: {
                    url: { $ne: request.params.document },
                    public: { $gte: 2 },
                    tags: { $in: request.items.tagsSlice }, //  request.items.tagsSlice - первые 5 тегов основной записи
                    catalog: request.items.catalog._id
                }
            },
            { $sort: { tags: 1 } },
            { $skip: 0 },
            { $limit: 12 },
            {
                $project: {
                   /****/
                }
                
            }
        ])
        .then()

Проблемное поле tags, при сортировке, если убрать { $sort: { tags: 1 } } запрос выполняется за 8ms вместо 1.5с.
Индексы
В схеме прописано

schema.index( { url: 1, public: 1, tags: 1, catalog: 1, tags: 1 } )

По факту создается индекс url_1_public_1_tags_1_catalog_1, игнорируя еще один tags сортировочный

Что делать?

Answer 1

[asd111]

Посмотрите explain - Collection.explain.aggregate.....

Comments

[Станислав]

https://jsfiddle.net/webphp/o3rjLmj7

Answer 2

[Philipp]

Сделать индивидуальный индекс для тегов

schema.index( { url: 1 } )
schema.index( { tags: 1 }, {sparse: true} )
schema.index( { catalog: 1 } )

Склеить теги в одно поле, построить по нему индекс.

RTFM mongoosejs.com/docs/guide.html#indexes

Сортировка занимает много времени, т.к. используется индекс catalog_1_tags_1 для условия. Разумеется сортировать по нему не получится.
Попробуйте сортировать так:
{ $sort: { catalog: 1, tags: 1 } },

Comments

[Станислав]

Все равно полторы секунды выполняется запрос. В общем я так понял от массива нужно избавляться? Еще такой момент, к примеру создам новое поле с типом String, запишу туда теги через запятую, как или через что производить поиск по данному полю? И с сортировкой проблем не будет?

[Philipp]

Станислав, да можете попробовать склеить теги в отдельное поле. Например ts. У вас будет 2 поля с тегами. Одно так и останется массивом, а второе будет строкой с тегами.

Можно еще $project поднять перед сортировкой. У меня был проект с довольно жирными записями, очень здорово помогало. Хотя у меня документов далеко за лям там и сами документики, примерно по 2кб в среднем.

[Станислав]

Philipp, создал поле
text: { type: String}
Загнал в него все теги (тег1 тег2 тег3 тег4)
Создал индекс
schema.index({text: 'text'})
Делаю выборку:

Collection.aggregate([
    {
        $match: { '$text': { '$search': 'тег1' } },
    },
    { $lookup: { from: 'users', localField: 'owner', foreignField: '_id', as: 'owner' } },
    {
        $project: {
            _id: 1,
            /****/
            score: { $meta: "textScore" }
        }   
    },
    { $sort: { score: 1 }},
    { $skip: request.skip },
    { $limit: 20 },
    {
        $group: {
            _id: "$_id",
            /*****/
        }
     }
]).then()

Если тег1 встречается в тысячах документов, запрос 4.5 секунды выполняется =(

[Philipp]

Станислав, я не совсем понимаю, зачем вы делаете это все через aggregation.
Если я правильно понял, вы пользуетесь mongoose. Он прекрасно работает с find() и lookup тут не нужен.

$lookup у вас выполняется до $limit, а это значит, что пайплайн сначала должен соединить все найденные записи, а потом выполнить ограничение. В теории оптимизатор должен отследить это, но что там реализовано на практике я не могу вам сказать. Они добавили $lookup сравнительно недавно, так что он может работать не очень оптимально.

То, что надо сделать:

1. Добавить простое текстовое поле с тегами и оставить поле с массивами.
Т.е. модель будет выглядеть так:

{
    url: 'string',
    public: 'number',
    tags: 'Array(String)',
    ts: 'String', // здесь у вас склееные теги
    catalog: 'ObjectId()'
    ...
}

2. Индексы (все обычные, не текст):

url
public
tags
ts
catalog

3. Запрос (если mongoose, я не знаю, что там у вас):

Collection
.find({
    url: { $ne: request.params.document },
    public: { $gte: 2 },
    tags: { $in: request.items.tagsSlice }, 
    catalog: request.items.catalog._id
})
.sort({ts: 1})
.skip(0)
.limit(12)
.select('url tags category public owner')
.populate('catalog owner')
.then(...)

4. Отладить запрос в Robomongo!