Как «раскачегарить» NodeJS?

Question

[Ivan Stroykin]

Доброго времени суток,

С другом думаем как "раскачегарить" nodejs. Есть данные (несколько миллионов). Если 2 задачи: взять одну запись по id и взять n-записей согласно какому-то условию.
Для теста храним данные в памяти. Расположили как объект, где ключ = id записи. Таким образом легко дергать по id. Но вот искать записи по условию - это ужас :) в общем обрабатывает примерно 21 запрос в секунду. Это капец, судя по показателям производительности 99%, что нужно писать по другому, но вот как лучше?

Немного по коду. Все показать не могу, к сожалению:

app.js

const cluster = require('cluster');
const numCPUs = require('os').cpus().length;

if (cluster.isMaster) {
    for (let i = 0; i < numCPUs; i++) {
        cluster.fork();
    }
    cluster.on('exit', (worker, code, signal) => process.exit(1));
} else require('./create-server');

create-server.js

const http = require('http');
const parser = require('url');

// ...

module.exports = http.createServer((req, res) => {
    res.setHeader('Content-Type', 'application/json');
    let url = parser.parse(req.url, true);
    // routes ...
}).listen(10000, () => { ... });

models/Test.js

Здесь будут храниться миллионы записей

const Test = {};
module.exports = Test;

На NodeJS пишу недавно, вообще на python пишу
Нашел рейтинг - ссылка

Comments

[napa3um]

lokijs.org/#
https://github.com/louischatriot/nedb

[Ivan Stroykin]

napa3um: LokiJS заинтересовало, завтра гляну что из себя представляет. Почему в комментарии, а не в ответе?)

[Alexander Kramov]

В 2017 бы кластеры вместо акторов юзать.

Answer 1

[Антон]

Использовать Redis (а лучше не nodejs)

Comments

[Ivan Stroykin]

Да вот проблема в том, что нужен именно nodejs ) Да и судя по рейтингам производительности он хорош, должен быть...да и проблема, что нужно именно в памяти, на этот счет думаю потом индексы добавить, благо смотрел готовые решения. Но без них слишком ужасный результат :(

Answer 2

[Night]

Эм, а чем вам СУБД не угодили?
Тот же MySQL Вам выдаст 1000+ RPS на 2 млн. таблице, при правильной настройке индексов.

Comments

[Ivan Stroykin]

такие вот условия ) хотя noSQL сейчас в обсуждении. Завтра буду пробовать LokiJS, Redis и MongoDB, посмотрю разницу. В общем итоге необходимо самое лучшее решение в плане скорости

[Night]

СУБД как раз для этого и созданы, дабы поиск имел адекватную скорость, чтобы не приходилось велосипедить на "объектах в памяти".

[Ivan Stroykin]

Night: думали выиграть, но познаний в ноде для этого оказалось горсть с копейкой )
Ваше личное мнение: LokiJS, Redis или MongoDB ? Может быть был опыт?

Answer 3

[Константин Китманов]

Любая СУБД (MySQL, MongoDB, Redis) даст вам прирост скорости на порядок даже без индексов, а уж с индексами тем более. Они на то и заточены, чтобы быстро искать данные по условиям.