Как ускорить процесс извлечения из БД?

Question

[partyzanx]

Делаю словарь. Пользователь делает запрос, допустим, 200 иероглифов.

Запрос происходит так

app.get('/search', async (req, res) => {  
searchingBy = '美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师美术设计师'
 searchingBy = searchingBy.split('');
...
    let arr = []; 
    for (let i of searchingBy) {
        let e = await Word.find({characters: i});
        arr = arr.concat(e)
    }
...

Получается сайт долго грузится, потому что много итераций.
Как сделать так, чтобы итерации происходили параллельно друг другу?
Научите, пожалуйста. Я новичок в этом деле.
Я так понял надо как-то на промисах что ли...

Весь файл вот

const express = require('express');
const app = express();
const bodyParser = require('body-parser');
const compression = require('compression'); 
const cookieParser = require('cookie-parser');
const mongoose = require('mongoose'); 
const helmet = require('helmet'); 
const path = require('path'); 
const db = mongoose.connection;
const keys = require('./keys/index');
const variables = require('./middlewares/variables');
const Word = require('./models/word'); 
  
 

app.set("view engine", "pug");
app.use(cookieParser())
app.use(bodyParser.urlencoded({ extended: true }));
app.use('/public', express.static(path.join(__dirname, 'public')));
app.use(helmet());
app.use(compression());

app.use(variables);
 
app.get('/', (req, res) => {   
    let lang = req.cookies.lang;
    res.render('index', {
        pageTitle: 'mainPage',
        lang
    });
}); 

 

app.get('/search', async (req, res) => {  
    let lang = req.cookies.lang;
    let {query: {q: searchingBy }} = req; 

 
    searchingBy = searchingBy.split('');
 
    let arr = []; 
    for (let i of searchingBy) {
        let e = await Word.find({characters: i});
        arr = arr.concat(e)
    }
    searchingBy = arr; 
    res.render('search', { 
        pageTitle: 'Search',
        searchingBy,
        lang
    });
}); 


const PORT = process.env.PORT || 1000;

async function start() {

    try {
    await mongoose.connect(keys.MONGODB_URI, {useUnifiedTopology: true, useNewUrlParser: true, useCreateIndex: true, useFindAndModify: false});  
     
    app.listen(PORT, () => {
        console.log(`Listen to ${PORT}`)
    })
    } catch(e) {
        console.log(e)
    }

} 

start();

Answer 1

[hzzzzl]

await Word.find({characters: i});
то есть там Word.characters это один символ, или массив?

посмотри на оператор $in монгидб
https://docs.mongodb.com/manual/reference/operator...

await Word.find({ 
  characters: { 
    $in: [...searchingBy]   // когда characters есть в массиве searchingBy
  } 
});

Comments

[partyzanx]

это 1 символ. Я забыл написать в вопросе: searchingBy = searchingBy.split('');

[hzzzzl]

partyzanx, да, я потом увидел уже :)
должен сработать мой фрагмент, [...searchingBy] это то же самое что сплит

[partyzanx]

hzzzzl, выдаёт первый символ

app.get('/search', async (req, res) => {  
    let lang = req.cookies.lang;
    let {query: {q: searchingBy }} = req; 
 
    let arr = await Word.find({ 
        characters: { 
          $in: [...searchingBy]   // когда characters есть в массиве searchingBy
        } 
      });
    searchingBy = arr; 
    res.render('search', { 
        pageTitle: 'Search',
        searchingBy,
        lang
    });
});

[hzzzzl]

partyzanx, кхм странно, может быть особенности юникода ... или движка JS? а если попробовать searchingBy.split('') вместо [...searchingBy], то тоже только 1 результат?

$in operator selects the documents where the value of a field equals any value in the specified array

[partyzanx]

hzzzzl, заработало, но выдаёт только уникальные иероглифы.
Т.е. если я пишу 4 иероглифа ㇐㇐㇑㇑

то ищет только ㇐㇑
:)

[partyzanx]

hzzzzl, если мыслить логически, то просто можно на сервере к каждому из ㇐㇐㇑㇑ иероглифов присвоить значения из найденных результатов ㇐㇑ и рендерить ㇐㇐㇑㇑ с присвоенными результатами. Теоретически, это решает задачу. Но немного костыль.
Есть ли другой обход?:)

[hzzzzl]

partyzanx, ааааа, я лишь сейчас понял, что ты хочешь потом вывести на странице кучу li с результатами поиска в определенном порядке.. думаю что придется уже потом обрабатывать результаты запроса да, БД же просто выбирает "всё что подходит по условию", а не раскладывает по порядку в массиве

// .... searchingBy = []

const result = await Word.find({ 
        characters: { 
          $in: [...searchingBy]   // когда characters есть в массиве searchingBy
        } 
});

const data = searchingBy.map(glyph => 
  result.find(doc => doc.characters === glyph) || { /* пустой объект или что-то другое, на случай если в базе ничего нет по этому иероглифу */ }
)

как-то так

[partyzanx]

hzzzzl, спасибо) работает)

Answer 2

[Alex]

// Паралельный поиск, но в одном потоке
let arr = await Promise.all( searchingBy.split('').map(i => Word.find({characters: i}) ) )

Но, лучше всего переделать Word.find, чтобы он искал по нескольким символам сразу

Comments

[partyzanx]

выскакивает вот такая ошибка

TypeError: D:\YandexDisk\nodeProjects\HSKWiKi5\views\mixins\wordBlock.pug:5
    3|         h1= word.characters
    4|         ul
  > 5|             each variants in lang === 'R' ? word.ruTranslation : word.enTranslation
    6|                 li= variants.pinyin
    7|                     ul
    8|                         each variant in variants.speachParts

Cannot read property 'length' of undefined

Т.е. функция get не ждёт операции и сразу выполняется