Как сделать текстовый поиск по нормированным формам слова используя морфологические словари (ispell/aspell) в Python?

Question

[Константин]

Здравствуйте,

нужен инструмент, который бы помог переводить слова с помощью морфологического словаря в начальную форму. Если кто знает поиск в Postgres с помощью ts_vector (www.postgresql.org/docs/9.1/static/textsearch-dict... ), так это именно то, что мне нужно создать, но только в Python под Windows и после *nix.

ЗЫ: Копал в сторону hunspell и библиотеку pyhunspell. Никак не смог скомпилировать, так как разумного компилятора под C/C++ нет, только под CygWin, а тот компилирует только под платформу CygWin, и невозможно после запускать что-либо под виндой. Не говорю уже о очень большом количестве всяческих костылей, которые я встретил.

Спасибо.

Answer 1

[Максим Васильев]

Опаньке!
А ispell/aspell разве морфологические?

Comments

[Константин]

Честно, я не лингвист, в этом слабо разбираюсь, но знаю чётко, как должен выглядеть результат. Морфология - раздел грамматики, изучающий части речи, их категории и формы слов. В ispell есть склонения, окончания, префисы и суффисы.

Answer 2

[yttrium]

В PostgreSQL рекомендую попробовать расширение pgtrgm. С помощью которого можно реализовать поиск с опечатками в запросе. На небольших запросах мне удалось достичь большей скорости чем при использовании чистого ts_vector. В той же статье описывают схему при использовании триграм в содружестве с полнотекстовым поиском.
Есть ещё nltk.stem.snowball.RussianStemmer. Но он не такой быстрый. И с Python3 он ещё не совсем дружит.
Как-то подслушал что с activepython проблем меньше в винде, пакеты предкомпилированные.

Comments

[Константин]

Здравствуйте, спасибо за информацию к Postgres, но я ищу решение для Python.
Stemming как алгоритм - мне подойти может, но он должен работать со словарями и в раынзх яызках, или этот инструмент должен быть настолько сильным, дабы поддерживал уже изначально европейские языки + русский.
Спасибо ещё раз за NLTK, попробую ещё раз покопаться в документации.

ЗЫ: я вот о чём подумал, яндекс или например гугл уже такие инструменты должны были сделать, иначе у них поиск бы не работал как надо.

[yttrium]

Вообще людям очень нравиться sphinx. Есть ещё xapian, elasticsearch.
А гиганты используют более сложные схемы, большие нагрузи диктуют не совсем тривиальные решения, и наоборот.

[Константин]

Спасибо большое, я попробую покопаться во всех этих терминах.
Мне по душе подходит hunspell, так как он умеет то что мне нужно, но подключить его в питон не смог.
Результат-то должен быть "минималистичный", без излишних инсталляций + портативный... Кароче я влип.
Ещё раз спасибо!

Answer 3

[Алексей Елецкий]

Pymorphy2

Comments

[Константин]

Спасибо большое, я это уже видел, это походу только для русского языка, но ещё раз посмотрю.