Как найти слово в тексте?

Question

[Sushkov]

Есть большой текст и и разделять его split() не очень хорошо, но просто поиском и по подстроке тоже не всегда возможна. Как это сделать как можно более быстрее и эффективнее?

Answer 1

[xmoonlight]

но просто поиском и по подстроке тоже не всегда возможна

пример приведите!
Вообще, это поиск по ядру (уникальная последовательность из всех данных) с расстоянием Левенштейна.

Comments

[Sushkov]

Банальная ошибка в слове

[VanKrock]

Sushkov: слово с ошибкой - это другое слово.

[xmoonlight]

Sushkov: читайте внимательно: ядро+расстояние Левенштейна! Т.е. слова: "малоко" и "молоко" - будут иметь максимальный процент, но разумеется, не 100%.

[Sushkov]

xmoonlight: вы предлагаете весь текст как массив слов представить?

[xmoonlight]

Sushkov: нет, как поток.

[Sushkov]

xmoonlight: есть статья об этом? Не работал с текстом не представляю как это реализовать.

[xmoonlight]

Sushkov: habrahabr.ru/post/114997

[Sushkov]

xmoonlight: Я читал эту статью, мне бы посмотреть как реализована поточная передача. Реализации Bitap и Левенштейна которые я находил принимают по два параметра, собственно сравниваемые слова. А сравнивать все слова из теста и слова которые ищем по большому тексту довольно долга, я думаю.

[xmoonlight]

Sushkov: мыслите верно, надо Вам поучить основы поиска.... (сравнивают структуры)

Answer 2

[VanKrock]

Вообще вам подойдет string.IndexOf

Comments

[Sushkov]

Банальная ошибка в слове

[VanKrock]

Sushkov: А ну если вам нужен нечеткий поиск, то есть неплохая статья habrahabr.ru/post/114997

[Sushkov]

VanKrock: Я читал эту статью, проблема в том как эффективнее передать тест, потому что перегонять текст длинной 1000 слов в массив не очень хорошая идея.

[VanKrock]

Sushkov: ну 1000 слов - это же не много.

[Sushkov]

VanKrock: их может быть и больше + время для обработки каждого слова

[VanKrock]

Sushkov: Ну в посте обработка 3,2 млн слов за 8 секунд при сложности O(nk), но при таких больших объемах нужно по идее использовать алгоритмы с индексами, они тоже описаны в статье.