Можно ли вести полноценный чат с ChatGPT через API?

Question

[moreshkin-by]

Хочу вести диалог с ChatGPT из скрипта. Но при обращении чат не создается, т.е он не запоминает последнее сообщение, т.е если я введу запрос 'сложи 2и3', а потом 'а теперь прибавь 4' он выдаст что-то типа такого 'a=a+4'. Мне же надо, чтобы он помнил последнее сообщение и мог вести полноценный диалог

Comments

[Elvis]

Не точный ответ, но глянь вот этого парня, там рассказывает как сделать то что ты хочешь.
https://youtu.be/c-g6epk3fFE

[Алан Гибизов]

Ну при чем тут тэг Python?

[maksam07]

Алан Гибизов, так реализовать может хочет на питоне.

[Ivansh_v]

maksam07, +

[Сергей delphinpro]

maksam07, так у него не с конкретной реализацией проблемы, а общий вопрос о чатгпт

[Алан Гибизов]

maksam07, хотеть можно. Надо прочитать п.3.1 Регламента и тщательно его выполнять.

Answer 1

[Василий Банников]

Нужно при каждом запросе передавать всю историю сообщений - это и будет память.

Answer 2

[mayton2019]

Да. Через API такое можно сделать. Но в GPT-3 кажется было ограничение на контекст в 4000 слов. Поэтому
бесконечный диалог все равно не получится.

Comments

[Steel_Balls]

Но в GPT-3 кажется было ограничение на контекст в 4000 слов.

не слов, а т.н. "токенов". Слов там получается на два порядка меньше

[Василий Банников]

Steel_Balls,

Слов там получается на два порядка меньше

Чего? Либо опечатка, либо вы что-то путаете.

[Hemul GM]

Василий Банников, один токен может быть как одним символом, так и целым словом, либо вообще один символ на несколько токенов.

[Steel_Balls]

Василий Банников, нет, я ничего не путаю

[Василий Банников]

Steel_Balls, там же сказано, что 4000 - это prompt+completion, и что твой prompt=145 tokens

[Василий Банников]

Hemul GM, просто "два порядка" - это 40 слов. Даже если предположить худший случай, когда токен=1 символ, и что каждое слово =10 символов, то выходит 400 токенов

[Hemul GM]

Василий Банников, есть случаи, когда один символ - несколько токенов. В частности для русского языка

[Василий Банников]

Hemul GM, ну ок. Но всё равно пример у Steel_Balls занимает только 145 токенов)

[Steel_Balls]

Василий Банников,

просто "два порядка" - это 40 слов.

именно так. в моём примере меньше 40 слов, а он ругается. хотя я указал max_tokens=4000

[Василий Банников]

Steel_Balls, там же в ошибке сказано, что max tokens - это то сколько ты хочешь получить completion, в таком случае prompt+completion получается больше, чем лимит сетки =4096, из-за чего и возникает ошибка.

Жить было бы гораздо легче, если бы люди читали внимательно

[Steel_Balls]

Василий Банников, да читал я. ставил и 100, и 3900. Но ответ отдаётся странный:
POST:

{
    "model": "text-davinci-003",
    "prompt": "Да. Через API такое можно сделать. Но в GPT-3 кажется было ограничение на контекст в 4000 слов. Поэтому бесконечный диалог все равно не получится",
    "max_tokens": 3900,
    "temperature": 0.1
  }

Response, 200:

{
    "id": "cmpl-7DH5mvLyxXVZa8czbcZMaYk2euPZo",
    "object": "text_completion",
    "created": 1683398322,
    "model": "text-davinci-003",
    "choices": [
        {
            "text": ".",
            "index": 0,
            "logprobs": null,
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "prompt_tokens": 145,
        "completion_tokens": 1,
        "total_tokens": 146
    }
}

[Hemul GM]

Steel_Balls, он дополнил твой ответ точкой. Именно так и работает gpt. Задай вопрос корректно, чтоб требовалось продолжение диалога.
Gpt - не нейросеть для пояснений или ответов на вопрос, это нейросеть просто дописывает (завершает) то, что ей было прислано. Т.е. на промпт "мал золотник, да", она ответит "дорог"

[Hemul GM]

Steel_Balls,
Это через мой клиент

[Hemul GM]

Steel_Balls, продолжение диалога

Answer 3

[Hemul GM]

Каждый запрос к нейросети должен сопровождаться всей историей диалога. Если размер истории превышает максимальное кол-во токенов у модели, то история должна отсекаться (сверху).
У модели gpt-3.5-turbo - 4096 токенов
У модели gpt-4 - 8192
У модели gpt-4-32k - 32k токена соответственно

Comments

[Steel_Balls]

Для диалога я пользуюсь https://api.openai.com/v1/chat/completions
Тут всё нормально с ответами.

Answer 4

[Steel_Balls]

Отправляй запросы на https://api.openai.com/v1/chat/completions
в параметрах передавай историю диалога

{
    "model": "gpt-3.5-turbo",
    "messages": [
        {"role": "user", "content": "Сложи 2 и 3"},      // первый запрос
        {"role": "assistant", "content": "2 + 3 = 5."}    // добавлено после первого ответа
        ,{"role": "user", "content": "а теперь прибавь 4"} // второй запрос
            ]
  }

Ответ:

{
    "id": "chatcmpl-7DIbWjbm75gWT49ZuoJjy9mZuDBVcN",
    "object": "chat.completion",
    "created": 1683404134,
    "model": "gpt-3.5-turbo-0301",
    "usage": {
        "prompt_tokens": 45,
        "completion_tokens": 8,
        "total_tokens": 53
    },
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "5 + 4 = 9."
            },
            "finish_reason": "stop",
            "index": 0
        }
    ]
}

"content": "5 + 4 = 9."