Как найти наиболее встречающиеся сочетания слов в нескольких текстах?

Question

[Антон Данилкин]

Имеется БД с множеством текстовой информации. Необходимо найти наиболее встречающиеся сочетания слов, чтобы в дальнейшем обучить некоторый скриптик.

Как логически правильно было бы организовать поиск, чтобы ничего не упустить?

Comments

[Nwton]

Сочетания двух слов?

[Антон Данилкин]

Nwton: 1-2-3-4-5 и чем больше тем лучше, я думаю

Answer 1

[Антон Данилкин]

Думаю сделать следующим образом:
Берем текст, делим на шинглы длиной 1-2-3-4-5 внахлест, убираем дубликаты.
Далее каждый шингл проверям на наличие в БД. Если данного шингла нет, то добавляем в БД и увеличиваем кол-во упоминаний на 1. Если шингл присутствует, то просто увеличиваем кол-во. И так каждый текст. В итоге получаем нужный набор шинглов и сортируем.

Comments

[Денис Загаевский]

Ты разрешения просишь или что?

Answer 2

[xmoonlight]

Здесь информация по рекурсивному поиску и по поисковой древовидной структуре для хранения текста.

Answer 3

[Vlad_Fedorenko]

www.nltk.org/howto/collocations.html

Answer 4

[kotofey]

Все уже придумано до нас. Работает в том числе и с разными словоформами для рус.языка: carrot2