Алгоритмы анализа текста

Question

[Илья Черничкин]

Доброго времени суток.
Меня интересуют алгоритмы анализа текста. Может кто то что то подскажет.

Например:
1) Анализ текста на схожесть с другим текстом
2) Анализ определенных вхождений на схожесть (Пример java, java script, javascript – по идеи javascript=java script, а java!=java script) можно конечно использовать расстояние Левенштейна, но может, есть специализированные алгоритмы

Ну и если есть еще какая литература по анализу текста поделитесь.
Спасибо.

Comments

[TheHorse]

java script != javascript

Answer 1

[rasa]

1) Шинглы не подойдут?

Comments

[Илья Черничкин]

будет читать и пробовать спасибо