Можно ли обучить нейросеть на книгах?

Question

[yrillood]

Можно ли обучить нейросеть на книгах, например, Сталина? Чтобы она прошерстила их, вывела закономерности в теории и в стиле автора и затем смогла бы в чатике отвечать на вопросы? Или нейросети еще не доросли до такого уровня.

Answer 1

[Максим Припадчев]

Можно при чем во всех случаях. Если пишешь с нуля обучать можно на чем угодно, в том числе закодировать тексты в векторную форму и обучать, но это очень сложная задача, и книг по какой то специфике будет недостаточно, а самое главное это безумно дорого. По этому можно использовать уже предтренирванную языковую модель и тюнить ее для создания текстов в контексте специфических знаний (книг в определенном стиле). Это направление для решения задачи.

Answer 2

[rPman]

Да можно, за последние годы создали шикарную технологию gpt, берешь pretrained можно, например llama2 с очень либеральной лицензией и высоким качеством, дообучаешь на своих данных.

Возможно возникнут проблемы с противоречивыми данными, например в оригинальной сети сказано что у светофора цвета красный жёлтый зелёный, а ты в обучающей выборе будешь говорить что светофор это сладкий кислый и соленый... сетку проглючит и она будет сильно галлюцинировать на это тему.

Это реально проблема, потому что разработчики нейронок активно 'выравнивают' их по своему разумению и уровню тараканов в голове, и ты заранее об этом даже не знаешь

Answer 3

[Александр Скуснов]

Раньше ведь другая лексика была. Он же не поймёт, что такое компьютер, например.