Swimergg
@Swimergg
Пишу код, и узнаю много чего интересного

Как максимально упростить предложение с помощью нейронных сетей?

Как здесь нейронную сеть, которая преобразует например:

"Привет, я сегодня услышал хит под названием {хит} посмотри в интернете, что это такое"
в
"Посмотри в интернете {хит}"

Как можно сделать такую нейронную сеть, желательно через Neuroph (Studio)
Или может быть так можно сделать без НС?
  • Вопрос задан
  • 59 просмотров
Решения вопроса 1
@berng
Это неоднозначно и зависит от постановки задачи.
1) Если без учителя - почитайте про экстрактивную суммаризацию текста (она самая простая в реализации). В двух словах - вам надо будет присвоить каждому слову некий ранг и оставить только самые важные слова. Ранжировать можно разными способами. Можно провести семантический анализ текста например библиотекой stanza, построив граф предложения, потом посчитать веса слов например через textRank как при экстрактивной суммаризации текстов и оставить необходимое вам количество слов.
2) Если с учителем - нужно сделать и обучить сеть на примерах, и вам нужен будет обучающий датасет было-стало. Поскольку задача сложная, скорее всего нужно будет делать TransferLearning с обобщенной моделью типа Bert или GPT. В этом случае по идее достаточным количеством примеров будет несколько сотен.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы