Большая нагрузка на процессор, что оптимизировать?

Question

[vitland]

Здравствуйте.

Пишу телеграм бот на nodejs + mongodb. Он посылает сообщения с картинками и описанием по запросу, есть фильтры и сообщения не повторяются, пока не закончатся все в одной категории. Фильтры и id просмотренных хранятся в базе, в документе пользователя.

При выполнении этой функции нагрузка на процессор VPS подскакивает до 60% - 70%.

Подозреваю, что не рационально сравниваю массивы, там может быть до 150 объектов в каждом.
Но мне нужно проверять, чтобы в выборке из базы не было повторов и понимать когда пользователь просмотрел все файлы.

spoiler

function sendFilesByQuery(chatId, query) {
  User.findOne({ telegramId: chatId }).then((user) => {
    // фильтры на основе которых формируется запрос
    if (user.filter.time === 1) {
      time = { $gte: 2000 };
    }
    if (user.filter.time === 2) {
      time = { $gte: 2015 };
    }
    if (user.filter.pop === 1) {
      pop = { $lt: 71 };
    }
    if (user.filter.pop === 2) {
      pop = { $gt: 9 };
    }

    if (user.filter.time === 0) {
      delete query.year;
    }
    if (user.filter1.pop === 0) {
      delete query.viewed;
    }

    query = {
      type: query.toString(),
      viewed: pop,
      year: time,
    };

    //Поиск все подходящих документов
    File.find(query).then((files) => {
      //Формируется масссив только _id, чтобы дальше исключить повторы
      let queryfiles = files.map((element) => element._id);

      //Массив со всеми id
      let allfiles;

      //Массив с просмотренными id
      let userfiles;
      
      //Массив с отфильтрованными не просмотренными id
      let rndfile;

      switch (query) {
        case "1":
          userfiles = user.files.type1;
          allfiles = user.allfiles.type1;
          //Исключаем повторы из массива
          rndfile = queryfiles.filter((f) => !userfiles.includes(f));
          bot.sendMessage(chatId, "text");
          break;
      }

      File.findById(rndfile)
        //Восстанавливает целый  рандомный документ из id
        .skip(Math.floor(Math.random() * rndfile.length))
        .then((rndfile) => {
          bot.sendDocument(chatId, rndfile.gif);

          if (!rndfile) {
            bot.sendMessage(chatId, "text");
          }

          if (userfiles.length >= allfiles.length - 1) {
            clearfilesType(user.telegramId, query);
          }
        });
    });
  });
}

Answer 1

[vitland]

Спасибо за советы!
Я пока нуб и без понятия, что такое профайлинг, как логгировать запросы и их интерпритировать. И на данном этапе в таком сложно разобраться.
Пока же решил проблему изменив запрос к базе, убрал сравнение массивов. Производительность значительно подросла.

function sendFilesByQuery(chatId, query) {
  User.findOne({ telegramId: chatId }).then((user) => {
    // фильтры на основе которых формируется запрос
    if (user.filter.time === 1) {
      time = { $gte: 2000 };
    }
    if (user.filter.time === 2) {
      time = { $gte: 2015 };
    }
    if (user.filter.pop === 1) {
      pop = { $lt: 71 };
    }
    if (user.filter.pop === 2) {
      pop = { $gt: 9 };
    }

    if (user.filter.time === 0) {
      delete query.year;
    }
    if (user.filter1.pop === 0) {
      delete query.viewed;
    }

    query = {
      type: query.type.toString(),
      viewed: pop,
      year: time,
//Здесь отсеиваются просмотренные файлы
      _id: {
        $nin: watched, 
      },
    };

    File.find(query).then((file) => {
      rndfile = file[Math.floor(Math.random() * file.length)];
      let allfiles;
      let userfiles;
      switch (query.type) {
        case "1":
          userfiles = user.files1;
          allfiles = user.allfiles;
          break;
      }

      bot.sendDocument(chatId, rndfile.gif);
      if (!rndfile) {
        bot.sendMessage(chatId, "text");
      }
      if (userfiles1.length >= allfiles.length - 1) {
        clearfilesType(user.telegramId, query);
      }
    });
  });
}

Answer 2

[mrsaa]

ответ будет пальцем в небо, потому что много неизвестных:
но если в реляционных бд реализовывать фильтры, то надо думать про индексы, а как с этим в монгодб?

ну и я бы рекомендовал сначала произвести детальный профайлинг, хотя бы посмотреть какие процессы грузят, сколько ядер задействовано и остальные ресурсы.

Answer 3

[Пума Тайланд]

посмотри кто грузит проц база или нода
если база залоггируй медленые запросы
если нода сделай профайлинг