Как написать нейросеть способную генерировать текст?

Question

[xandrez]

Хочу сделать нейросеть, которая будет генерировать смешные предложения(словосочетания). Желание необычное, но я просто хочу сделать ее для бота, в развлекательных целях.

Итак, есть список слов. Необходимо, чтобы нейросеть, на основе количества необходимых слов, генерировала это самое количество слов, а я вручную обучал ее путем ответа смешно/не смешно. (Возможно это займет очень много времени, но обучением будут заниматься несколько людей, это не страшно)

Я знаю некоторые основы создания нейросети, но не получается продумать как именно такую можно реализовать

Comments

[mayton2019]

Юмор - это сложная категория. Слишком ... человеческая что-ли. Как вообще собрать датасет юмора?
Можно найти сборник анекдотов. Но это будет тухляк мне кажется. Там половина из середины 20-го века
типа "возвращается муж..."

Сделай просто поисковик по анекдотам..

Или вот в твоем варианте. Генератор слов тебе выдает такую прозу.

Корова, ящик и луна.
Забор, весы, калькулятор.

Выдает очень-очень нудно и много. Ничего тут смешного нету. И у тебя скорее всего не хватит
сил и терпенья ждать пока среди слов выскочит

Рабинович морда упал

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента.

[Модератор]

На вопрос «как сделать» отвечает документация и поиск в интернет.

Тут отвечают на вопросы «почему я сделал, как в документации, а оно не работает. Поискал в интернет, вот запросы, в ответах не нашел. Что я делаю не так?»

Покажите, как вы пробовали решить проблему, приведите код попытки (пусть неудачной), опишите, как запускали, что ожидали и что получилось.
За готовыми решениями - на фриланс. В текущем виде это не вопрос, а задание. Нарушен п.5.12 Регламента.

Answer 1

[rPman]

Ты как будто отсутствовал последний год и пропустил бум ChatGPT. Этот алгоритм нейронных сетей (Generative Pre-trained Transformer) был разработан в 2017-ом 'гуглом' и 'доведен до ума' публично в OpenAI (их chatgpt4 сейчас самый продвинутый универсальный генератор текста, проявляющий признаки интеллекта).

С помощью этого алгоритма твоя задача решается максимально эффективно (она буквально становится решаемой, до этого решения не было, были только смешные потуги).

На текущий момент самая крутая из доступных нейронных сетей (доступные предобученные веса сети), которую можно доучивать под свою задачу или даже пользоваться как есть, - это фейсбуковская llama2 (бесплатная, с очень либеральной лицензией, позволяющая коммерческое использование), ее можно запускать на процессоре на десктопной машине с меньше 64гб ram (скорость от 1токен в секунду, слово это 1-7 токенов) с помощью llama.cpp или на машине с GPU, суммарной емкостью vram от 80Gb (я не нашел точные минимальные требования, квантизация 8бит доступна в штатном коде llama а 4-битную тоже можно но я не уверен какие проекты уже поддерживают llama2).

Так как речь идет не о просто генераторе текста, а о генераторе, который понимает обычную речь (собственно использование gpt и состоит в исследовании способов составления запросов с целью получить наилучший желаемый результат) как инструкции к действию, твоя задача может быть решена вообще без программирования.

p.s. самостоятельная разработка (сбор обучающих данных и обучение) с нуля подобного проекта невероятно дорогая, слабые версии имеют оценку стоимости обучения (при наличии специалистов, которые уже стали на вес золота) в десятки миллионов баксов только на оборудование (тоже дефицитное, так как используется в основном кластеры на основе оборудования nvidia, которые монополисты в ИИ и рисуют 10х стоимость не моргнув глазом а еще искусственно не расширяют производство чипов при наличии высокого спроса)

Но если взять уже обученную сетку (веса) собрать небольшой датасет текстов под свою задачу, то тюнинг будет достаточно дешевым, вот еще со старой llama так делали

Comments

[Евгений Курочкин]

=== "...генератор текста, проявляющий признаки интеллекта)..."===

Разве что только признаки. )

"Начнем с главного: искусственного интеллекта не существует. Как совершенно верно отметила в 2021 году работавшая для Microsoft Кэйт Кроуфорд: «ИИ — это не искусственный, и не интеллект». Она развивает свою мысль: «С самого начала разработчики ИИ… мы сделали ужасную ошибку: поверили, что сознания — как компьютеры, и компьютеры — как сознание. Мы предположили, что эти штуки — аналог человеческого разума, но ничто не может быть дальше от истины».
Здесь стоит понять, почему. Представим, что есть нечто, что безусловно существует, но чью суть мы не понимаем — хотя пытаемся, потому что это явно мощная штука. Сделать это легко: например, в 1908 году над Сибирью рванул взрыв на десятки мегатонн, убивший троих человек. Вопрос: могли ли люди 1908 года воспроизвести его в том же году?
Ответ довольно прост: пока они не узнали, что это было и как научиться делать взрывы той же мощности, нет, не могли. На данный момент у ученых и философов нет никакого понимания, что такое естественный разум (интеллект), и даже определения, на котором бы большинство ученых сошлись. Почему?
Приведем пример такого определения: «разум (интеллект) — это способность воспринимать информацию или делать выводы из нее и запоминать ее как знание, которое можно применить в отношении адаптивного поведения в той или иной среде».
Любой биолог в этот момент рассмеется: получается, даже слизевик физарум многоглавый разумен. Еще 15 лет назад в эксперименте было показано, что он способен именно на то, что написано в цитате выше.
Только вот есть проблема: у слизевика вообще нет мозгов. И нервных клеток тоже нет.
Как именно без нервной системы удается использовать информацию для адаптации, неизвестно. Но совершенно точно так же неизвестно, как это делаем мы.
Определений интеллекта было выдумано множество — более сотни. Однако все попытки применить их к реальности заканчивались таким же фиаско, что мы описали выше: «интеллект», выходит, был даже у растений, а то и у вовсе у природных процессов.
Однажды исследователи попробовали создать определение интеллекта, которое устроило бы всех. Правда, «всех» опять не вышло: под ним подписалось только 52 специалиста из 131 (то есть меньшинство), участвовавшего в выработке определения. Большинство отказались по очень простой причине: чтобы его нельзя было «натянуть» на деревья и прочую плесень, определение сделали максимально общим.
Оно прямо начиналось словами «Очень общая ментальная способность…» — и продолжалась примерно так же расплывчато. Пользы от него тоже нет: если в определении нет конкретики, а разум «определяется» как способность к абстрактному мышлению (при отсутствии определения термина «мышления»).
ChatGPT — это большая языковая модель, натренированная на огромной выборке из массивов слов. Представим, что вы залили в некую базу данных все книги, написанные человечеством, плюс все, написанное людьми в интернете. Разбили (людьми ли, нейросетью-классификатором ли, неважно) залитое на небольшие тематические блоки, каждый из которых можно рассматривать как кусочек ответа на вопрос. Затем задали определенные правила — назовем их «четыре арифметических правила для чат-бота», — по которым эти тематические блоки можно смешивать.
Именно этим и пользуются многие хитрые хомо сапиенсы. Кто-то «пишет» чат-ботом в соцсети для знакомств с противоположным полом. Ну какая девушка сразу спросит у вас, почему в законах Хаммурапи выбрана такая высокая отсекающая кредитная ставка? Подобных вопросов на свидании можно и за всю жизнь не услышать, зато «ответы» от чат-бота действительно поднимают шанс получить от собеседницы (или собеседника) «да».
Только вот к разуму такие обмены репликами не имеют никакого отношения. Приложение для игры в шахматы на вашем телефоне тоже может рассчитать бесчисленное количество ходов. Но значит ли это, что вы должны опасаться захвата им господства над миром?"