Как обучить нейросеть генерировать фразы?

Question

[justslipknot]

Хочу обучить нейросеть сеть генерировать фразы, на подобии тех, что я ей скормлю. Например: у меня датасет из 1000 постов ВК и на их основе нейросеть должна генерировать новый пост. В какую сторону копать ? Какие технологии применяются ?

Answer 1

[Сергей Соколов]

Есть уже приложение «Генератор постов ВК» Дениса Ольшина.

Поиск найдёт кучу уроков и статей про LSTM. Например.

Comments

[justslipknot]

Я понимаю, что наверняка есть что-то готовое, но хочется же самому разобраться

[Сергей Соколов]

justslipknot, ну так последняя ссылка про LSTM

Answer 2

[xmoonlight]

Семантическая модель.

Answer 3

[maaGames]

Очевидно, что нейросеть должна работать не со словами, а со смысловой нагрузкой слов и фраз, иначе результат будет мало отличаться от рандомной комбинации слов.
Поэтому, каждое слово должно быть маркировано смысловой нагрузкой. Например "радость","злость","хорошее настроение","плак-плак" и тому подобное. Т.е. наделить каждое слово смыслом. Затем наделить смыслом комбинации слов и короткие фразы. Нейросети нужно будет скармливать именно тэги из учебного набора фраз (1000 может оказаться маловато). Нейросеть научится определять "смысл и эмоции" подаваемой на вход фразы. После этого можно будет попытаться провернуть обратный процес: задаёте набор тэгов на вход, а нейросеть выдаёт набор слов с таким смыслом. Будет коряво, потому что нужно слова просклонять в соответствии с правилами русского языка, можнт MS-word прикрутить для постобработки текста...

Answer 4

[Andrew Nodermann]

https://habr.com/ru/news/t/504588/
https://habr.com/ru/company/itsumma/blog/511690/
https://habr.com/ru/post/440564/