Как ускорить поиск элементов из статичного string[] по подстроке?

#,

вы разбиваете исходный массив на слова? (с указанием строк)..

Да

а поиск по первому слову "подстроки"?

1. searchTerm делю на слова => searchTermWords
2. Ищу все слова из словаря, которые содержат в себе слова searchTermWords
3. Для каждого найденного слова из словаря вытаскиваю индексы исходных строк и фильтрую

Как ускорить поиск элементов из статичного string[] по подстроке?

#, Я использую Sqlite для двух случаев: 1) Тест FTS5 2) Для моей реализации как хранилище. Дабы не городить велосипед.

Как ускорить поиск элементов из статичного string[] по подстроке?

- искомые слова могут бы в любом месте строки? - Да
- искомое слово всегда отдельное слово? - Да или часть слова
- искомые слова постоянный список? или так же произвольный? - произвольный

Как ускорить поиск элементов из статичного string[] по подстроке?

#, это справовчник для помощи поиска по основному массиву strings

Как ускорить поиск элементов из статичного string[] по подстроке?

#, Для plinq'а ядер маловато.

Как ускорить поиск элементов из статичного string[] по подстроке?

#, Есть массив строк различной длины, надо найти те строки, которые содержат подстроку, предоставленную пользователем.

На SQL выглядит так: SELECT text FROM strings WHERE text LIKE '%substring%'.
На LINQ выглядит: strings.Where(s => s.Contains("substring"))

Как ускорить поиск элементов из статичного string[] по подстроке?

#, набор обновляется раз в 15 минут... а поиск.. необходимо максимально приблизиться к ~100 параллельных в секунду.

Как ускорить поиск элементов из статичного string[] по подстроке?

Wataru, ~ Медиана: 800 символов, Макс: 2500

Как ускорить поиск элементов из статичного string[] по подстроке?

VoidVolker, Поэтому я и написал Contains и IsMatch -> вместо StartsWith.

Есть ограничения на минимальную длину поиска?

Думаю 2 или 3 символа сделать.
Смотрю в сторону генерации n-gram'ов... но пока не вкурил как делать поиск соответствующий по ним.

Как ускорить поиск элементов из статичного string[] по подстроке?

Судя по статье в википедии, этот алгоритм строит дерево по словарю, а потом ищет вхождения слов словаря в переданной строке. в моём случае у меня нет изначального "словаря"...
те я ищу не "слово из словаря во входной строке", а "слово из словоря которое содержит входную строку"

Как ускорить поиск элементов из статичного string[] по подстроке?

Честно признаюсь, дерево таблиц переходов мне кажется очень смахивает на prefix tree (верно?). Тогда как делать поиск аля Contains("substr"), когда поиск происходит в "середине" ?

Как ускорить поиск элементов из статичного string[] по подстроке?

Разве префиксные деревья подойдут для полноценной замены Contains ?
Они скорее для замены StartsWith(). Или я не прав?

Как рассчитать "нужды" NPC в числовом виде на основе его требований и инвентаря?

Те для определения параметров NPC использовать нейронку для поиска "оптимума", а на начальной стадии рандомные значения?!

Я бы для такого подхода использовал бы rtES-HyperNEAT.

Как рассчитать "нужды" NPC в числовом виде на основе его требований и инвентаря?

А есть более обобщённый подход?
Например, список необходимостей NPC динамический и может меняться в зависимости от "работы"/состояния NPC и/или мира... напр. при болезни NPC добавляется требование "лекарства".

Где взять запросы для тестирования самописного SQL движка?

Спасибо, но где скачать базы Northwind и AdventureWorks я знаю.

Где взять запросы для тестирования самописного SQL движка?

с помощью jmeter'а реализуется нагрузочное тестирование, мне же необходимо проверить что при одном и том же запросе к одной и той же базе данных MSSQL и мой движок возвращают одинаковый результат.
Для этого я пишу SQL скрипты, использующие разные комбинации возможностей TSQL. Но боюсь что я могу что-то упустить...

Где взять запросы для тестирования самописного SQL движка?

mayton2019, Я не пишу DBMS, а прослойку, которая предоставляет доступ к "динамическим" объектам в базе. Пример: DQL, CMIS Query.

Где взять запросы для тестирования самописного SQL движка?

Akina, А нет какого-нибудь репозитория/архива, где будет 100500+ готовых SQL скриптов и не надо будет "выцеплять" из документации?

Как реализовать SQL движок в своём приложении?

FromSqlRaw отправляет запрос напрямую к базе и результат мэппит в сущность.
А что если нет базы как таковой (база конечно есть, но ползватели не имеют к ней доступа и структура им неизвестна)?

Пример: есть тот же EF c DbSet'ами: Blog, Post Author, PostPrize. (Мы реализовали кастомный EF DbContext Provider который реализует "мэппинг" в базу (EAV/CR + ES ).)

И пользователь для отчёта и "бонусов" формирует SQL запрос (сильно упрощённо):

SELECT 
    a.Country
    , b.BlogType
    , COUNT(p.Id) as posts_qty
   , SUM(p.Views) as total_views
   , COUNT(pp.Id) as win_posts_qty
FROM 
           Posts p 
           JOIN Blogs b ON b.Id = p.BlogId 
           JOIN Authors a ON a.Id = b.BlogOwnerId
           LEFT JOIN PostPrize pp ON pp.PostId = p.Id
WHERE 
     b.BlogType in (1,2)

Цель: Дать пользователю возможность выполнять SQL (для начала только SELECT'ы) над бизнес объектами... Как это делают DQL/CMIS..

Если есть реальная база, то создаются проекции и изначальный SQL должен преобразоваться в target.
Но если нет DB и есть только набор IEnumerable, то этот трюк не сработает. Тем и хорош пример из поста с IQueryExecutor... Он парсит SQL и формирует Execution plan с последющим дёрганием IQueryExecutor..

Как реализовать SQL движок в своём приложении?

Не нашёл уже существующего решения на .NET'е...
Думаю в таком случае портировать Planner и Interpretator из Apache Calcite или sqlglot.