Извлечение информации из большого количества документов. Чем?

Question

[Тимур Туз]

Салют! есть задача: есть несколько тысяч однотипных текстовых документов, в которых есть общие логические блоки (не путать со схемой документа). Из этих документов надо извлечь знания и привести их к цифрам. простые функции вроде регулярок не подходят. Надо чтото более продвинутое. Никогда не сталкивался с этими направлениями, не могу понять с помощь каких алгоритмов и инструментов такую задачу можно решить. Понял что это textmining а дальше куда смотреть не понятно

Answer 1

[al_gon]

Несовсем понятно к каким именно цифрам вы хотите/должны извлечённую информацию превести.
В общем задача похожа на проблемы которые решает NER https://en.wikipedia.org/wiki/Named-entity_recognition

Изветные инструменты:

https://en.wikipedia.org/wiki/OpenNLP
nlp.stanford.edu/software/CRF-NER.shtml
https://en.wikipedia.org/wiki/General_Architecture...
https://ru.wikipedia.org/wiki/UIMA

Могу представить, что UIMA это чего вам более чем хватит.

Comments

[Тимур Туз]

уточняю есть чтото вроде отчета о проделанной работе и ее оценка в конце. Пример:
Дмитрию по договору №123 надо было перевезти посылку из пункта а в пункт б
....
В результате Дмитрий (1)опоздал/(2)привез вовремя/(3)привез но повредил упаковку (эти описания результатов в произвольной форме).
В идеале получить таблицу: Поле Dogovor: 123; Поле Worker: Дмитрий; Поле Result: (1)Opozdal; (2)Ok; (3)Slomal.

Answer 2

[Dimonchik]

NLTK

Answer 3

[xmoonlight]

https://nlpub.ru/Mystem
Обработка текста с помощью mystem на php

Answer 4

[Alf162]

Стоит посмотреть в сторону алгоритмов вроде word2vec (doc2vec, lda2vec и т.п.) Если нужно попроще, то подойдет что-то типа tf-idf. Все это реализовано на питоне, slkearn, gensim