Как работать с большими данными в MongoDB?

Question

[mmmq]

Здравствуйте.

Столкнулся с проблемой при запросе данных свыше 2000, ответ начинает тормозить. От 3тысяч записей и вовсе все умирает без ответа. Это даже не "big data", поэтому не понимаю как решить эту проблему. Использую Mongoose для осуществления запросов.

p.s Возможно не правильная архитекрутра бд.

Запрос:

const candles = await candlesModel.findOne({ symbol, interval }).then(res => res.data)

Структура документа в коллеции "candles":

{
_id: 'ObjectID',
symbol: 'BTCUSD',
interval: '2h',
data: [ {open, high, low, close, timestamp}, ... ]
}

Такое решение выбрано по причине большого числа symbol'ов и разных интервалов. В data содержится основной массив из данных для символа (от 2000тыс.)

Железо:

Использую базовый тариф MongoDB Atlas 500md RAM сервер (только локальная разработка).

Answer 1

[Philipp]

Для правильной работы с данными следует использовать курсоры.

Вам нужно что-то вроде этого.

Ошибки нет скорее всего из-за закончившейся памяти.

Comments

[mmmq]

Спасибо!

Answer 2

[hzzzzl]

candlesModel.findOne({ symbol, interval }).then(res => res.data)

это можно заменить на

// выбрать только поле 'data'
candlesModel.findOne({ symbol, interval }, 'data')

а вообще хммм, странно, 2000 шт должен отдавать и базовый план на mongo atlas, или как минимум возвращать какую-то ошибку, может что-то дальше в коде происходит?

если просто запросить полный документ, то он приходит из базы?

await candlesModel.findOne({ symbol, interval }) // ?

Comments

[mmmq]

Возвращает, 2000, 2400 подтормаживает. Ваш вариант работает если в базе до 2500 записей в поле data.

Тестировали с 4000, ничего не возвращает, даже ошибки.

Тестировали исключительно запрос и ответ, без дополнительных строк кода.