Как сделать узконаправленным ChatGPT api python?

Question

[helbening]

Мне необходимо, чтобы бот понимал тему и отвечал только на нужные. Например, если бот медик, чтобы он не отвечал на вопрос "какой бы фильм посмотреть?". Как сделать такое ограничение и возможно ли?

Comments

[d'Ivan]

Во-первых, что пробовал и как?
Во-вторых, бот-медик - это шарлатанство!

[Александр Скуснов]

Иерокопус Таманский, Насчёт шарлатанства поосторожнее: если ИИ сдаёт экзамены на юриста, то может сдать и на медика.

[oleg_ods]

Александр Скуснов, сдать экзамен на юриста не равно стать юристом) С врачем еще сложнее)

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента.

[d'Ivan]

Александр Скуснов, если ИИ что-то насоветует, потом никакой реальный врач не спасёт. В лучшем случае совет будет бесполезным.

[Александр Скуснов]

Сейчас ИИ лучше распознаёт рентгеновские снимки.
Уж больно вы высокого мнения об интеллекте человека, забыли как вас обыграли в шахматы и го?
Сергей Марков (портал 21 век) даёт 10 лет, когда ваша карта будет бита.

[d'Ivan]

Александр Скуснов,

Сейчас ИИ лучше распознаёт рентгеновские снимки.

если ИИ специализированный, то не исключаю. Но это не про ChatGPT.

[Василий Банников]

Александр Скуснов, не может он сдать экзамен на медика, даже если убрать ограничение (либо по счистливой случайности сдаёт на троечку). Это проверено уже.

Естественно, мы сейчас не говорим про модели, которые обучены на медицинских данных, чтобы решать медицинские задачи (например поиска опухолей на рентгене).

Answer 1

[rPman]

Эти и другие задачи, решаемые с помощью chatgpt, требуют использования технологии под названием prompt engineering (пора, я думаю, тег на хабре добавлять, чем это хуже какого-нибудь c++ или lisp?).

Красивого решения нет но один из способов, делать предварительный запрос вида - 'является ли тематика следующего вопроса медицинской, ответь да или нет:', и проанализировав этот ответ можно выдавать плашку или делать уже прямой запрос.

Для классификации можно использовать более простые языковые модели, включая открытые, которые будут хоститься на твоем железе, правда их использова уже не так просто но что не сделаешь ради экономии.

Comments

[Hemul GM]

'является ли тематика следующего вопроса медицинской, ответь да или нет

Это бесполезный способ. Потому что вопрос может быть контекстно зависимым. И отдельно от контекста может не являться "медицинской тематикой".

[rPman]

Не вижу проблемы
Для языковых моделей контекстом является история беседы

В особых (богатых) способах, контекст можно хардкодить файнтюнингом модели, это дорого и долго (особенно если помнить что файнтюнинг может ломать модель, если в выборку дообучения не добавлять примеры из изначальной обучающей выборки или хотя бы покрыть всю ее область знаний по несколько примеров)

Правильно, под каждую задачу берут языковую модель и дообучают (например заморозив веса кроме последних) под новую задачу, какой бы она странной не была, и в итоге пользуются ансамблем из моделей.

[Hemul GM]

rPman, Ну и? Беседа на медицинскую тематику и человек задает вопрос абсолютно не по теме. И модель на него "ответит". А если ты перед этим попытаешь узнать на медицинскую ли тематику беседа, тебе ответят - да

[rPman]

ага, значит так?

- У меня ушиб, чем лечить?
 - Возьми подорожник.
 - Какого цвета? <-- это медицинская тематика?

Чтобы ответить на твой вопрос, ЧТО ИМЕННО ты собираешься проверять на категорию?

p.s. потелепатствую, у тебя на руках вся история, дели по ответам, бери последнюю пару, бери последнее сообщение или бери последнее предложение, делай три запроса на каждый текст с вопросом о категории, проверяй ответы. Ты даже можешь спросить у модели, к какой части беседы относится соответствующее сообщение (она поймет, особенно gpt4), прояви смекалку.

Ну и само собой, твоя задача не формализуется, а языковые модели тебе смогут помочь с некоторой вероятностью, т.е. для сотни ответов будет какой то процент как ложноположительных так и ложноотрицательных ответов. Их можно уменьшить, если заниматься файнтюнингом на ответах пользователей модели, которая будет принимать это решение.

p.p.s. надеюсь ты понимаешь что вопрос и ответ модели по поводу медицинской тематики пользователю показывать не надо, и в контекст его беседы тоже не надо добавлять

Answer 2

[Василий Банников]

Экспериментируй с промптом. "Расскажи" ChatGPT что за задачу он будет решать, на какие вопросы и в какой форме отвечать, а на какие не отвечать.
Экспериментируй, пока не получишь результат.

Причём можно скомбинировать:
1. Сделать запрос, чтобы он определил тематику вопроса и сказал, относится ли он, например, к медицинской тематике или нет.

2. Обычным кодом обработать это и передать уже сам вопрос, чтобы получить ответ.

3. Обработать ответ, чтобы он соответствовал форме.

Answer 3

[GavriKos]

Если апи этого не предоставляет - никак.

Да и в том то и прикол языковой в том, что как раз классифицировать архисложно.
"Какой бы фильм посмотреть" - не относится к медикам.
"Какой фильм посмотреть медикам" - относится в какой то степени, но не факт что будет спрашивать медик.