Какую стратегию следует использовать в случае огромного объема данных?

Question

[Ptolemy_master]

Итак, имеется база MongoDB, на бакэнде NodeJs, подключение к базе через mongodb драйвер. Пользователю на фронте позволяется сделать любую выборку. Если объем данных слишком велик, node.js рушится со следующей ошибкой:

>> FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory
>> Exited with code: 3.
>> Error executing child process: Error: Process exited with code 3.

Что можно сделать?
Вижу следующие подходы (в теории):
1) Как-то выяснить (как?) объем данных, которые будут возвращены в случае данного запроса, и, если он превышает определенный лимит, не выполнять запрос, а вернуть пользователю сообщение об ошибке.

2) Если это невозможно, то остановить выполнение запроса в процессе, и вернуть сообщение об ошибке.

3) Остается одно - иметь запущенным какой-то демон, который тут же перезапустит node если он рухнет.

Что посоветуете, спасибо!

Answer 1

[xmoonlight]

1. Вначале посчитать ТОЛЬКО КОЛИЧЕСТВО записей: COUNT
2. Для выборки с нужными данными использовать ограничение: LIMIT

Comments

[Ptolemy_master]

Хорошо, допустим, выбрали 100. Но вдруг там внутри какой-нибудь десятиэтажный json, который сожрет всю память?

Про limit не поняла, вы имеете в виду skip?

[xmoonlight]

Ptolemy_master, https://ruhighload.com/post/Mysql+LIMIT

[Ptolemy_master]

xmoonlight, понятно насчет лимита. А вот как быть с оценкой размера данных?

[xmoonlight]

Ptolemy_master, нужно исходить из типов записей и адекватной структуры как самой БД, так и запросов. Если такая проблема встала, то у Вас явно есть проблемы с этим.
Вот линк где определяют размер данных в таблицах.

[Ptolemy_master]

Спасибо за ответ!
Именно так и сделали - ограничиваем выборку за один раз.
Проблема в том, что это не наши данные, а наших клиентов, они с ними работают, и там может быть все, что угодно.

[xmoonlight]

Ptolemy_master, не понял: Выборка-то для чего нужна (select)? На то и выборка, чтобы смотреть что в самих данных).
1. Есть сортировка, группировка (в том числе и по вашего ID-клиента!), которые можно тоже использовать с LIMIT.
2. Есть также возможность перебора начиная с конкретного элемента по ID.
3. Есть кеширование результатов предыдущих запросов.

Также, советую почитать документацию и затюнить хранилище данных.

[Ptolemy_master]

xmoonlight, ну мы просто пошли по простейшему пути *пока* - просто ограничиваем объем выборки, пофигу, что там внутри, как заметил другой товарищ, один документ не может быть больше 16МБ, мы возвращаем максимум 30. Это решение в лоб, временное, будем в будущем настраивать сервер. Кэширование может быть тоже посмотрим. А второй пункт как-то непонятно.

[xmoonlight]

Ptolemy_master, вам нужно вынести необходимые признаки для отбора из документа наружу, чтобы по ним уже фильтровать выборку.

[Ptolemy_master]

xmoonlight, не очень поняла, что вы имеете в виду?

[xmoonlight]

Ptolemy_master,

один документ не может быть больше 16МБ, мы возвращаем максимум 30.

либо я что-то не понял...
Опишите процесс работы с данными в БД со стороны клиента при выборке (сам интерфейс и действия клиента по-шагам).

[Ptolemy_master]

xmoonlight, я по-дурацки выразилась, сорри. Один документ не может быть больше 16МБ, мы возвращаем 30 документов (раньше возвращали все, сервер упал когда их количество было близко к миллиону :)

Процесс очень простой - у нас есть клиенты, которые работают со своей базой через наш интерфейс. Они могут делать с ней все, что угодно, ну то есть с данными - в частности, делать выборку. Не хотелось бы, чтобы их неосторожные действия обрушивали сервер.

[xmoonlight]

Ptolemy_master, https://docs.mongodb.com/manual/core/gridfs/

[Ptolemy_master]

xmoonlight, спасибо, не знала про такое!

[xmoonlight]

Ptolemy_master, не за что! Почитайте.

Answer 2

[RidgeA]

1. count + размер документа в MongoDB не может превышать 16 мб https://docs.mongodb.com/manual/reference/limits/
2. mongodb.github.io/node-mongodb-native/2.0/tutorial... но смотри ниже
3. Демон в любом случае рекомендую иметь - pm2, nodemon, supervisor, supervisord, systemd...

С помощью mongodb.github.io/node-mongodb-native/2.0/tutorial... можно отдавать данные на клиент потоком, тут главное, что бы клиент схавал.

Comments

[Ptolemy_master]

Решили ограничивать выборку. Но вообще интересная идея с потоками, надо будет попробовать.

Answer 3

[SEOD]

Ptolemy_master, может завести отдельный столбец, где указывать объём данных в столбце? Т.о. вы будете сказать сколько данных накапливается для вывода. И накапливать вывод до тех пор пока он не превышает порог.

Answer 4

[Ptolemy_master]

К сожалению, в самой базе это невозможно, так как это не наша база, а клиентов. Заводить отдельную коллекцию в нашей базе с этой метаинформацией можно, конечно, но уж очень накладно. Решили пока просто ограничивать размер выборки.