MongoDB. Почему запросы по индексу выполняются так медленно?

Question

[Максим Болтик]

Всем привет.

Прошу помощи в решении следующей проблемы:
Есть коллекция размером 26 млн документов.
Структура документа фиксированная - pastebin.com/iBzW0Fkz
По коллекции построен индекс по полю users - db.conversations.getIndexes() - pastebin.com/xHecpw00

Запросы по полю users выполняются медленно (больше 100 мс)
db.getCollection('conversations').find({users: {$all: ["5942328", "9082468"]}}); EXPLAIN - pastebin.com/0C11Cr9F
db.getCollection('conversations').find({users: "9163099"}); EXPLAIN - pastebin.com/CmvuDf10

Вопросы:
1. Почему запросы по индексу выполняются так медленно?
2. Как прогреть(загрузить в ОЗУ) индексы после рестарта сервера/процесса mongod? В WiredTiger команду touch() убрали.

Дополнительная информация по коллекции и базе данных:
db.stats() - pastebin.com/9JZF8ChQ
db.getCollection('conversations').stats() - pastebin.com/17yV4Fsi
db.conversations.getIndexes() - pastebin.com/xHecpw00

Информация о сервере:
lscpu - pastebin.com/k7wUE4gH
lshw -short - pastebin.com/w5XYuY3U

Есть предположение что чтение с HDD работает очень медленно и решением будет установка SSD, но нужно явное подтверждение этого.

Comments

[Дмитрий Энтелис]

Расскажите потом как решилась проблема. Я щупал монгу 3 года назад и мне показалось что это распиаренное гуано как раз по быстродействию.

Answer 1

[lega]

Попробуйте выбрать не весь документ:

db.conversations.find({users: "9163099"}, {_id: 1})
или
db.conversations.find({users: "9163099"}, {users: 1})

Что free -m выдает?

Есть предположение что чтение с HDD работает очень медленно и решением будет установка SSD, но нужно явное подтверждение этого.

Я бы на вашем месте купил бы VPS в DO на пол часа, и проверил бы, - стоит копейки (5-30 руб) и дело минутное* (может проблема не только в HDD), если это hetzner то все понятно.

Comments

[Максим Болтик]

По памяти mongod использует как и заявлено 50% + 1 ГБ = 17ГБ из 32 доступных.
При использовании проекции в запросах, {_id: 1}/{users: 1} время выполнения меняется но по прежнему остается очень большим.
Сервер арендуется у www.softlayer.com

[vjjvr]

VScale - российский аналог Digital Ocean. От 0,29 рублей за 1 час.
;)

[vjjvr]

А еще там сразу есть MongoDB
;)

[Максим Болтик]

Я так понимаю есть подозрение что есть проблемы с сервером в целом?

[Антон Тихомиров]

Извиняюсь, а что значит фраза "если это hetzner то все понятно"?)

[lega]

Антон Тихомиров: за последние лет 5 трогал разные сервера от хетзнера, всегда были какие-то проблемы, чаще связанные с io и диском.
Особенно острый случай был когда 99% io уходило на синхронизацию raid, 100% времени, в итоге там даже "тетрис" запускался по 10 мин