Существуют ли OpenSource нейросети по работе с текстом и общением?

Question

[nickolay_titov]

Хочу найти возможность использовать самообучающуюся нейросеть, которую смог бы адаптировать под общение в чате.
Существуют ли такие проекты?
Видел что-то от Microsoft, но там было распознование фото.

Answer 1

[0x131315]

Нейросеть не работает с текстом. Она работает с данными, а уж какие данные - это как обучишь.

Тебе нужен OpenSource framework для построения нейросетей. Далее строишь нейросеть, и обучаешь.

Нейросети не самообучаются и очень ограничены. Их требуется обучать извне.
Их необходимо тренировать в контролируемых условиях, и далее фиксировать, запрещать развитие. Так обычно и делают.
Именно такие обученные и зафиксированые сети и представляют коммерческую ценность, являясь законченным продуктом. Нефиксированных сетей боятся как огня - они склонны выкидывать сюрпризы.

Дело в том, что развитие нейросетей спонтанно, и без контроля приводит к хаосу.
В контролируемых условиях развитие жестко контролируется, потому сеть и обучается в нужную сторону.
В боевых условиях сложно либо невозможно создать адекватную систему контроля, так что нередки сюрпризы.

Либо, если так нужна развивающаяся нейросеть - нужно городить над ней систему динамического контроля, что сложнее, которая будет решать, что хорошо, а что плохо.
Сложность как раз в том, чтобы определить, что есть хорошо, а что плохо, имея случайный набор данных - сеть ведь должна обучаться в процессе работы.
Есть задачи, в которых легко определить результат работы нейросети - хорош он или плох. Есть и такие, где это сделать сложно, а то и невозможно - там требуется целая обученная нейросеть просто для контроля другой нейросети.

Есть и третий вариант, компромиссный - обработка данных фиксированной боевой сетью, а в фоне анализ данных, дальнейшее обучение на них клона боевой сети, уточнение критериев успешности (в т.ч. с участием человека - спешить некуда), тестирование, сравнение результатов с боевой сетью, и, если все круто - в ближайший сервисный период замена боевой сети более развитым клоном. И так в цикле.
Так более безопасно - развивающаяся сеть никогда не выйдет в боевой режим, пока не будет соответствовать требованиям надежности, а работу выполняет надежная фиксированная от изменений сеть, выдающая стабильный результат без сюрпризов.

В общем технология примитивная: эволюция и есть эволюция, ты просто определяешь критерии успешности, по которым отделяешь успешные вариации от негодных, и далее фиксируешь положительные изменения, а негативные отбрасываешь.
Методы обучения можешь погуглить - их несколько, и все они старые.

Comments

[nickolay_titov]

А где ответ на мой вопрос?про работу сетей я в целом имею представление, оно схоже с тем, что здесь написано. Но есть именно примеры проектов, которые мне позволят найти какую-то базу для работы и обучения сети. Создать ее с нуля считаю слишком сложным и длительным процессом.

[Saboteur]

Colin Goldman: Вроде бы вам сказали, что вы путаете понятие нейросеть и сервис.

Сервис по распознаванию фото, даже на базе нейросетей - это сервис, а не нейросеть. И ценность в нем представляет именно накопленные в контролируемых условиях данные, позволяющие нейросети работать. opensource такое вряд ли появится в ближайшем будущем, ибо хранение данных небесплатно, а нейросеть требовательна.

[Bedin]

Saboteur: он имел ввиду, есть ли код какого-либо сервиса, необученного.

Да, есть, на хабре много писали по нейросетям, в темах и коды есть.

Answer 2

[Максим Тимофеев]

Есть чаты с ботами типа www.siteheart.com/ru/features - но я не уверен, что они используют нейросети. Но возможно Вам подойдет такой вариант?
Нейросети на мой взгляд интересная технология, но еще слишком далекая от построения ботов для общения. Да и ресурсоемкость наверняка запредельная. Что делает их применение невозможным при решении повседневных бизнес задач, связанных с общением в чате.