Как можно наиболее быстро искать данные по JSON файлу?

Question

[Kizzeon]

Сейчас я делаю поиск по базе данных вида:

var matches = array.filter(array=> {
    const regex = new RegExp(`${searchText}`, 'gi'),
          stateName = state.name,
          stateData = String(state.data);
    return stateName.match(regex) || stateData.match(regex); // здесь дольше всего
  });

Но он находит данные жутко долго

Посоветуйте пожалуйста как можно оптимизировать этот код

Comments

[Lynn «Кофеман»]

Человечество давно придумало базы данных.

[Kizzeon]

Алексей Тен, Но мне необходимо работать именно с json, так как на него настроен код

[Lynn «Кофеман»]

Откуда такая необходимость взялась?

[Kizzeon]

Алексей Тен, Очень много js кода, который настроен на json и самостоятельно я вряд ли его перепишу на postgresql(откуда я взял json)

Answer 1

[Александр Черемхин]

const searchText = ‘....’;
const regex = new RegExp(searchText, 'gi'); // вынести за цикл filter

var matches = array.filter(state=> {
  const name = state.name, 
         data =  state.data.toString();
    return regex.test(name) || regex.test(data);
});

Comments

[Kizzeon]

То что нужно, теперь код стал работать сильно быстрее =)

Answer 2

[Interface]

Если у вас "json" это пришедший из postgress'овского jsonb поля - то postgress умеет делать запросы внутри jsonb: https://hackernoon.com/how-to-query-jsonb-beginner... (первая ссылка в гугле).

Если такой вариант не подходит очевидная оптимизация - высунуть создание регэкспа из цикла. Хотя я не уверен, что какой-нить v8 это несоптимизировал самостоятельно. (на моей машине это сокращает время втрое примерно)

Какой у вас объем данных? Поиск по множеству строк не должен занимать много времени. И пока у вас не миллионы этих строк все должно быть быстро. Эквивалентный код на моей машине выполняет проход регэкспом по массиву из миллиона строк менее чем за 100мс. Если у вас бОльшие объемы или хотя бы сопоставимые - вы что-то делаете не так :) Ну или если вы ожидаете обработку такого объема данных моментально, то стоит скорректировать ожидания.

P.s. это нода или браузер? Если нода - то пляски на стороне js все равно не имеют смысл так как радикально ускорить не получится, а вот 2-3 пользователя ищущие что-то вам все положат.

Comments

[Kizzeon]

Пятьдесят тысяч строк...
И вышеописанный код на сайте выполняется тысяч за 5 милисекунд(от 500 до 5500)

[Kizzeon]

И как раз 95% от этого занимает

return stateName.match(regex) || stateData.match(regex);

[Kizzeon]

Это не node js, я паршу json файл используя fetch, кеширую и потом провожу поиск, но даже так у меня сильно долго идет

[Kizzeon]

Пользователей немного, но все они будут проводить поиск по бд, так что я хочу прооптимизировать данный regex(или заменить?) что бы он проводился мс так за 300 или меньше хотя бы

[Interface]

Kizzeon, приведенный вами код так долго не работает (у меня по крайней мере и не думаю что на другой машине\браузере (не IE5) разница будет на порядки)

data = [];
for (let i = 0; i < 50000; i++) {
    data.push({name: String(Math.random()), data: String(Math.random)});
}
searchText = '123';
console.time();
matches = data.filter(state=> {
    const regex = new RegExp(`${searchText}`, 'gi'),
        stateName = state.name,
        stateData = String(state.data);
    return stateName.match(regex) || stateData.match(regex); // здесь дольше всего
});
console.timeEnd();

Этот скрипт выполняется (ваш код) за 20мс

Проблема видимо в другом месте

[Interface]

Kizzeon, или код работает дольше на специфичных данных (длинные строки, например, или объекты слишком большие и поэтому разброс по RAM'у большой и кэш лажает (но это уже гадания)). Предоставьте работающий пример кода, который на блоке данных в 50000 единиц тратит 5 секунд на вашей машине.

[Interface]

Это не node js, я паршу json файл используя fetch, кеширую и потом провожу поиск, но даже так у меня сильно долго идет

С ваших слов этого не следует, но вдруг вы на каждый поисковый запрос запрашиваете json с 50к объектами внутри. Вы же так не делаете?
Если вдруг делаете - может ли оказаться так, что вы включили во время в 5000-5500 мс получение самого json?

[Kizzeon]

Этот скрипт выполняется (ваш код) за 20мс

Не недооценивайте i3 сенди бриджа

50000

50 000 строк по 2 обьекта на каждой*

json с 50к объектами

Я по обоим тестирую, но сейчас мне помог Александр Черемхин и код стал отлично работать и я понял что в итоге проблема в DOM(в appendChild стоявшему рядом)