Как ускорить поиск элементов из статичного string[] по подстроке?

#, Для plinq'а ядер маловато.

Как ускорить поиск элементов из статичного string[] по подстроке?

#, Есть массив строк различной длины, надо найти те строки, которые содержат подстроку, предоставленную пользователем.

На SQL выглядит так: SELECT text FROM strings WHERE text LIKE '%substring%'.
На LINQ выглядит: strings.Where(s => s.Contains("substring"))

Как ускорить поиск элементов из статичного string[] по подстроке?

#, набор обновляется раз в 15 минут... а поиск.. необходимо максимально приблизиться к ~100 параллельных в секунду.

Как ускорить поиск элементов из статичного string[] по подстроке?

Wataru, ~ Медиана: 800 символов, Макс: 2500

Как ускорить поиск элементов из статичного string[] по подстроке?

VoidVolker, Поэтому я и написал Contains и IsMatch -> вместо StartsWith.

Есть ограничения на минимальную длину поиска?

Думаю 2 или 3 символа сделать.
Смотрю в сторону генерации n-gram'ов... но пока не вкурил как делать поиск соответствующий по ним.

Как ускорить поиск элементов из статичного string[] по подстроке?

Судя по статье в википедии, этот алгоритм строит дерево по словарю, а потом ищет вхождения слов словаря в переданной строке. в моём случае у меня нет изначального "словаря"...
те я ищу не "слово из словаря во входной строке", а "слово из словоря которое содержит входную строку"

Как ускорить поиск элементов из статичного string[] по подстроке?

Честно признаюсь, дерево таблиц переходов мне кажется очень смахивает на prefix tree (верно?). Тогда как делать поиск аля Contains("substr"), когда поиск происходит в "середине" ?

Как ускорить поиск элементов из статичного string[] по подстроке?

Разве префиксные деревья подойдут для полноценной замены Contains ?
Они скорее для замены StartsWith(). Или я не прав?

Как рассчитать "нужды" NPC в числовом виде на основе его требований и инвентаря?

Те для определения параметров NPC использовать нейронку для поиска "оптимума", а на начальной стадии рандомные значения?!

Я бы для такого подхода использовал бы rtES-HyperNEAT.

Как рассчитать "нужды" NPC в числовом виде на основе его требований и инвентаря?

А есть более обобщённый подход?
Например, список необходимостей NPC динамический и может меняться в зависимости от "работы"/состояния NPC и/или мира... напр. при болезни NPC добавляется требование "лекарства".

Где взять запросы для тестирования самописного SQL движка?

Спасибо, но где скачать базы Northwind и AdventureWorks я знаю.

Где взять запросы для тестирования самописного SQL движка?

с помощью jmeter'а реализуется нагрузочное тестирование, мне же необходимо проверить что при одном и том же запросе к одной и той же базе данных MSSQL и мой движок возвращают одинаковый результат.
Для этого я пишу SQL скрипты, использующие разные комбинации возможностей TSQL. Но боюсь что я могу что-то упустить...

Где взять запросы для тестирования самописного SQL движка?

mayton2019, Я не пишу DBMS, а прослойку, которая предоставляет доступ к "динамическим" объектам в базе. Пример: DQL, CMIS Query.

Где взять запросы для тестирования самописного SQL движка?

Akina, А нет какого-нибудь репозитория/архива, где будет 100500+ готовых SQL скриптов и не надо будет "выцеплять" из документации?

Как реализовать SQL движок в своём приложении?

FromSqlRaw отправляет запрос напрямую к базе и результат мэппит в сущность.
А что если нет базы как таковой (база конечно есть, но ползватели не имеют к ней доступа и структура им неизвестна)?

Пример: есть тот же EF c DbSet'ами: Blog, Post Author, PostPrize. (Мы реализовали кастомный EF DbContext Provider который реализует "мэппинг" в базу (EAV/CR + ES ).)

И пользователь для отчёта и "бонусов" формирует SQL запрос (сильно упрощённо):

SELECT 
    a.Country
    , b.BlogType
    , COUNT(p.Id) as posts_qty
   , SUM(p.Views) as total_views
   , COUNT(pp.Id) as win_posts_qty
FROM 
           Posts p 
           JOIN Blogs b ON b.Id = p.BlogId 
           JOIN Authors a ON a.Id = b.BlogOwnerId
           LEFT JOIN PostPrize pp ON pp.PostId = p.Id
WHERE 
     b.BlogType in (1,2)

Цель: Дать пользователю возможность выполнять SQL (для начала только SELECT'ы) над бизнес объектами... Как это делают DQL/CMIS..

Если есть реальная база, то создаются проекции и изначальный SQL должен преобразоваться в target.
Но если нет DB и есть только набор IEnumerable, то этот трюк не сработает. Тем и хорош пример из поста с IQueryExecutor... Он парсит SQL и формирует Execution plan с последющим дёрганием IQueryExecutor..

Как реализовать SQL движок в своём приложении?

Не нашёл уже существующего решения на .NET'е...
Думаю в таком случае портировать Planner и Interpretator из Apache Calcite или sqlglot.

Как реализовать SQL движок в своём приложении?

Цель:
1. прикрутить SQL для работы с кастомными POCO объектами , которые могут менять свою структуру в runtime.
2. Реализовать provider , который позволит использовать этот механизм в существующих программных решениях.. например: XtraReports и тому подобные

Как реализовать SQL движок в своём приложении?

Василий Банников, Задача именно в том, чтобы прикрутить SQL -> IDataReader -> для начала всякий reporting.

Как реализовать SQL движок в своём приложении?

Модератор, Так я ведь исправил на тэг код. А скриншот программы с примером вывода IL

Как реализовать SQL движок в своём приложении?

mayton2019, Я бы не рассматривал это как своя DBMS, это скорее SQL-base API для доступа к данным. Для начала read-only...

Сценарий использования (упрощённо):
1. Изначальные условия. имеем класс объекта EngObject { int Id, string Type }

2. Админ модели данных создаёт:
- класс Pump : EngObject { string Serial }
- класс PumpOmega : Pump { string OmegaId }

3. Пользователь системы создаёт отчёт со следующими запросами:
SELECT COUNT(*) FROM EngObjects WHERE Type = 'pump'
SELECT OmegaId FROM PumpOmega WHERE Serial = 'N123'
и тд и тп..

Таким образом... Пользователи используют привычный SQL над кастомными объектами.
В догонку к DQL , есть ещё CMIS Query