Как максимально упростить предложение с помощью нейронных сетей?

Question

[Александр Интересный]

Как здесь нейронную сеть, которая преобразует например:

"Привет, я сегодня услышал хит под названием {хит} посмотри в интернете, что это такое"
в
"Посмотри в интернете {хит}"

Как можно сделать такую нейронную сеть, желательно через Neuroph (Studio)
Или может быть так можно сделать без НС?

Comments

[Василий Банников]

Мне кажется, тут можно без упрощений - надо только отнарудить в тексте сущность "хит" и команду "найди в интернете", но вроде нет смысла в этом, тк люди так с голосовыми ассистентами не общаются

[Александр Интересный]

Василий Банников, вот эти ключевые слова мне и нужно найти

[Василий Банников]

Swimergg, гугли named entity recognition

[Александр Интересный]

Василий Банников, ничего не понимаю)))

[Василий Банников]

Swimergg, у тебя есть возможность всё понять)

[Александр Интересный]

Василий Банников, Скорее всего это не получится, и нам нужны именно самые значимые ключевые слова, с помощью которых можно понять что требует пользователь

Answer 1

[berng]

Это неоднозначно и зависит от постановки задачи.
1) Если без учителя - почитайте про экстрактивную суммаризацию текста (она самая простая в реализации). В двух словах - вам надо будет присвоить каждому слову некий ранг и оставить только самые важные слова. Ранжировать можно разными способами. Можно провести семантический анализ текста например библиотекой stanza, построив граф предложения, потом посчитать веса слов например через textRank как при экстрактивной суммаризации текстов и оставить необходимое вам количество слов.
2) Если с учителем - нужно сделать и обучить сеть на примерах, и вам нужен будет обучающий датасет было-стало. Поскольку задача сложная, скорее всего нужно будет делать TransferLearning с обобщенной моделью типа Bert или GPT. В этом случае по идее достаточным количеством примеров будет несколько сотен.