@MADARA228

Как реализовать обучение нейросети в реальном времени?

Есть Дискорд бот, с ним в реальном времени общаются люди. Внутри бота лежит полностью необученная модель без всяких готовых датасетов. По мере общения с пользователями она должна обновлять свои веса и зависимости, а также на основе этого выдавать ответы пользователям. Всё должно происходить так, будто ребёнка обучают речи. И ещё одна важная проблема, модель должна не маленькие слова выдавать, а стараться писать и обрабатывать объёмные тексты, Я думаю это можно решить с помощью токенизации.
Дайте хотя бы какую-нибудь наводку, книгу, статью, чтобы воплотить это в реальность.
  • Вопрос задан
  • 168 просмотров
Пригласить эксперта
Ответы на вопрос 2
@dmshar
Вам подойдет любая книга, где рассматривается работа нейросетей. Это касается "обучения НС с нуля". По сути, на этапе обучения НС получает ОГРОМНОЕ количество примеров, циклически обрабатывая которые, по много раз возвращаясь к началу обучения, через очень много циклов она начинает более-менее правильно решать задачу. Когда вы хотите это сделать он-лайн, причем ей на вход примеры будут насыпать "в час по чайной ложке" (а так и будет, если сравнивать скорость работы компьютеров и скорость подачи примеров людьми, даже если таких людей вы заставите работать не отходя от компьютера и наберете хоть пару сотен), то ваша НС через пару лет будет лепетать на уровне двухлетнего ребенка, потом еще пару лет на уровне трехлетнего. На более менее приемлемый уровень ("писать и обрабатывать объёмные тексты") она выйдет очень и очень нескоро. Если у вас цель понять, как учиться ребенок - то вот так это и происходит. А вот если у вас цель сотворить что-то реальное - то этот путь тупиковый и очень затратный.
Вот, хваленый СhatGPT когда только появился выдавал такой - в прямом смысле "детский лепет". Так это его предварительно обучали на миллиардном корпусе входных данных, на супермощных компьютерах и не один год(!). А вы хотите "с нуля" с ним посоревноваться?
Но если вас интересует просто попытка разобраться в том, как НС генерируют осмысленный текст ("хотя бы какую-нибудь наводку, книгу, статью" - т.е. у вас вообще нет понимания, как НС работают по разбору и генерации текстов) - то вот можно начать, например, отсюда:
https://habr.com/ru/companies/ods/articles/716918/ - это вообще-то полуразвлекательное чтиво, но некоторое представление дает.
https://habr.com/ru/articles/739014/ - тут уже посерйозней.
Но вообще-то уже начали выходить даже книги по ChatGPT (правда - в основном на английском), а по методам работы с текстовой информации - их вообще уже куча, на разный уровень читателя и с учетом различных его интересов. Ключевое слово для поиска "NLP - Natural Language Processing".
Удачи!
Ответ написан
Комментировать
@ehevnlem
Программирую с 1975, в интернете с 1993.
Да, NLP - Natural Language Processing". Для начала поймите смысловой вектор. Но вообще задача у вас очень сложная. Не для новичков
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы