Как оптимизировать поиск нужной фразы в json обьектах?

Question

[Hanry654]

Сейчас будет абсурд, и вы будете писать зачем мне это нужно, НО есть вебсокет по которому каждые 2 секунды приходит массив с данными

[
  {
    "id": 345,
    "descripton": "test follow maybe test test"
  },
  // ... 740 length
]

И мой список фраз, на 1млн строчек

[
  "test test test test test",
  "test test test test test",
  "test test test test test",
  "test test test test test",
  "test test test test test",
  "test test test test test"
  // ... 1mln length

Когда приходят новые данные по вебсокету, я их проверяю

for (object of wsData) {
  for (myPhrase of myPhrasesList) {
    // Если есть совпадение, вызываю функцию отправки сообщения в тг и отдельный запрос на сайт
  }
}

Так вот, при нагрузке в 1 млн строк, отправка сообщения в тг и отдельный запрос на сайт, занимаааает очеееееень много времении, нежели при нагрузке в 10к, при 10к строк, все работает на отменно.
upd
что я имел ввиду, сам поиск проходит быстро и функа тоже вызывается за считанные секунды, но вот выполнение функции медленное, и может занимать до 40 секунд

Так вот, как оптимизировать всю эту хрень, и чтобы все работало шустро и класно? При этом чтобы все не отваливалось при нагрузке, ибо как я понял(ну мои догадки) данные приходят же каждые 2 секунды, и нагрузка нарастает все больше и больше и это плохо ибо не успевают провериться прошлые данные как приходят новые. Есть варианты решений?

Comments

[Влад Хеллсайт]

Так как именно сейчас производится сравнение?

[Hanry654]

Владлен Хеллсайт, Как я сравниваю написал выше, все точь в точь, или вы имели что-то другое ввиду?

[Влад Хеллсайт]

Hanry654, код привести стоило бы полный хоть. Может там регулярные выражения используются вместо equal.

[Hanry654]

Владлен Хеллсайт,
Увы но используется equal
upd:
извиняюсь не equal))

for (object of wsData) {
    for (myPhrase of myPhrasesList) {
      if (myPhrase === object.description) {
        this.notification(object,myPhrase).then()
      }
    }
  }

[Влад Хеллсайт]

Hanry654, а что тогда, если не equal?

[Hanry654]

Владлен Хеллсайт, кхм, ну я посчитал что я не правильно понимаю что такое equal, загуглил и нашел совсем другое, но не суть, сейчас проверю то что вы написали и отпишу

Answer 1

[Влад Хеллсайт]

// Это должно быть вне обработчика закэшировано
const myPhrasesList = new Set([
  "test test test test test",
  "test test test test test",
  "test test test test test",
  "test test test test test",
  "test test test test test",
  "test test test test test"
  // ... 1mln length
]);

for (object of wsData) {
    if (!myPhrasesList.has(object.description)) {
       continue;
    }

    this.notification(object, object.description).then()
}

Comments

[Hanry654]

Уже не в тему конечно, но что если мне нужно хранить не просто слова в myPhrasesList, а обьект?

{
  "count": 4,
  "phrase": "test ..."
}

[Влад Хеллсайт]

const phrasesObjectList = [
    {
        "count": 4,
        "phrase": "test ..."
      }
];

const myPhrasesList = new Map(phrasesObjectList.map(item => (
    [item.phrase, item]
)));

// ---

for (object of wsData) {
    const item = myPhrasesList.get(object.description)
    
    if (!item) {
       continue;
    }

    this.notification(object, item.phrase).then()
}