Как из текста вытащить определения слов?

Question

[dodo101000101]

Здравствуйте, мне необходимо вытащить из текста определения слов, т.е. те предложения, в которых словам даётся определение в явном, а в идеале, и неявном виде.

Большое количество определений подходит под конструкцию: "Понятие - его определение.". Есть ли какие-то готовые наработки, позволяющие найти в тексте подобные грамматические конструкции?

Есть ли работы в которых пытаются выявить значение слов из контекста?

Интересуют конкретные кейсы (реализации), доклады, научные статьи и таму подобное по данной теме.

Comments

[Developer]

Примеры?

[dodo101000101]

Developer, например, можно открыть любую статью на Википедии, что я и сделал в комментарии вашего ответа

Answer 1

[Adamos]

Вам действительно нужно обработать какой-то текст или нужна база определений? Так-то в сети навалом словарей, в которых сделана готовая разметка и не нужно морщить лобик.

Comments

[dodo101000101]

Нужно обработать новый текст.

[Adamos]

dodo101000101, двигайтесь поэтапно. Убедитесь, что тире разделяет ту часть, где нужное слово, и определение. Потом разбирайтесь с тем, что лишнее в слове и до каких пор обрезать определение. Каких-то серебряных пуль вам тут все равно не посоветуют.

[dodo101000101]

Adamos, вдруг есть какие кейсы для NLTK, например.

Answer 2

[yevhprodan]

Хороший подход для этого будет использование nlp. К примеру библиотека Spacy

Comments

[dodo101000101]

А почему именно spaCy, а не, например, NLTK?

P.S.
Есть замечательный список инструментов для NLP:
https://nlpub.mipt.ru/Обработка_текста

Answer 3

[mayton2019]

Это сложная и интересная тема. На выходе ее должна стоять семантическая сеть. И есть у меня сомнения что на тостере кто-то даст окончательный совет. Да и вообще нельзя тут дать совет. Тут нужно направление. Как. Кодить самому? Или взать опенсорцную библиотеке? Или купить библиотеку.

Мне также интересно откуда проистекает это техническое задание. Как минимум - дипломный проект.

Comments

[dodo101000101]

Это скорее для самостоятельного исследования. Прощупываю почву, так сказать. Просто я несколько слышал о подобной технологии на какой-то конференции несколько лет назад, но уже совершенно не помню подробности. Поэтому меня интересуют любые кейсы (реализации), доклады, научные статьи и тому подобное по данной теме.

[mayton2019]

Я изучал базу википедии. Но не в оригинальном виде. А в семантическом. К ней можно было писать запросы на SparQL и получать ответы. И насколько я помню наполнение это базы было автоматизировано на основании текстов вики.

Answer 4

[xmoonlight]

Слова в предложении ("разделитель"):

^наз?в*, ^означ*, ^явля?т*, ^это$, ^определя?т*, ^представля?т*, ^выража?т*

И/или знак "тире".
Меньшая часть предложения - это термин (или в начале, или в конце предложения).