@tty89

Как нейросеть научить понимать текст?

Здравствуйте!У меня есть нейросеть на основе кластеризации алгоритма иерархии.Но мне нужно,чтобы нейросеть понимала текст вопроса,а потом сама же отвечала на этот вопрос.Как это сделать?Помогите,пожалуйста!
  • Вопрос задан
  • 460 просмотров
Решения вопроса 2
Vindicar
@Vindicar
RTFM!
Коротко: никак.

Ты можешь попытаться классифицировать тексты по тематике, используя ключевые слова, и искать те тексты / фрагменты, которые содержат те же ключевые слова, что и заданный вопрос.
Но даже такое определение содержит кучу проблем.
1. Слова могут иметь разные словоформы. Нужен стемминг для выделения корней слов.
2. Какие слова считаются ключевыми? Нужен как минимум частотный анализ слов. Слова с очень высокой частотой будут менее полезны при работе.
3. Порядок слов может менять смысл вопроса. Значит, придётся использовать рекуррентные (seq2seq) сети.
4. Нужно понять, как кодировать подаваемые на вход ключевые слова. Неудачное кодирование может сильно ограничить возможности сети.

И после этого тебе нужно будет найти/создать большую базу (десятки тысяч и более элементов) пар "вопрос-ответ", на которой ты будешь обучать свою сеть. И то, после этого она сможет только отвечать на наиболее похожие вопросы из этой базы (плюс/минус формулировка). Обычно горе-программисты убегают с плачем на этом этапе.

Честно, примитивный частотный анализ (какие слова встречаются в тексте ответа и в тексте вопроса) может дать менее бредовый результат, и будет проще в реализации.
Ответ написан
Комментировать
mayton2019
@mayton2019
Bigdata Engineer
После кластеризации мы просто получим сгруппированный текст. И никакого понимания текста и ответов на вопросы там не будет.

Вообще - лучше привести пример того что хочет автор. Что значит ответить на вопрос. Например:

Я : Где живут пингвины?
Нейросеть : В антарктиде.

Но чтобы нейросеть сделала какой-то inference из текста - нужно сделать что-то большее чем кластеризация.
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
@Carburn
Вот пример такой нейросети https://russiannlp.github.io/rugpt-demo/
Там написано как создать
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы