Как добиться завершения фразы в OpenAI API?

Question

[Volgarastraport]

В Chat-GPT такого нет, там полностью законченный по смыслу и по факту (последнее предложение завершенное и заканчивается точкой). Но при работе по АПИ в результате completions постоянно получаю не законченные фразы в конце.
Увеличивал max_tokens - бесполезно.
Пробовал в prompt указывать чтобы ответ был логически завершён, работает через раз.
Какие параметры можно добавить?

Comments

[ragq1991]

Здравствуйте, ответ-то нашли?

Answer 1

[Hemul GM]

Не знаю о чем ты. Я делал такое. И вроде все корректно работает.

Comments

[Volgarastraport]

Читайте ещё раз заголовок вопроса. Да и в самом вопросе вроде нормально написано, что речь про АПИ.

[Hemul GM]

Volgarastraport, да как бы я читать умею. Это приложение сделал я. Используя апи. И в частности метод completions

[Hemul GM]

Volgarastraport, https://github.com/HemulGM/ChatGPT/blob/main/ChatG...

[Volgarastraport]

Hemul GM, извините, похож ваш интерфейс на Chat-GPT.
Можете привести примеры параметров в запросах?
Я просто начинал работать с OpenAI больше года назад, потом долго не трогал. Сейчас смотрю неск. новых параметров добавилось, может они влияют?

[Hemul GM]

Volgarastraport, по ссылке видно, что я там обычные параметры передаю.
Prompt (текст, с историей, чтоб контекст учитывался)
MaxTokens - 1024
Temperature - 0.5
User (для разделения чатов)

Т.е. ничего специфического.

Приведи пример запроса и ответа. Желательно и то и другое сырыми джсонами

[Volgarastraport]

Hemul GM,

{
"model": "text-davinci-003",
  "prompt": "{text}",
  "temperature": 0.4,
  "max_tokens": 500,
  "n": 1,
  "frequency_penalty": 1.3,
  "presence_penalty": 1.5,
  "top_p": 1
}

[Hemul GM]

Volgarastraport, возьми вопрос из моего скрина. Сделай запрос и покажи текст всего запроса и ответа в json. Я хочу увидеть что ответит. Ну и токены увелич до 1024

[Volgarastraport]

Hemul GM,
Похоже "max_tokens" всё же влияет. Если делаю побольше, то не обрывается текст.
Надо потестировать побольше.

[Hemul GM]

Volgarastraport, предел токенов у этой модели - 4096. Это количество включает и твой текст, который ты передал. Т.е. ты должен передать максимум столько текста, чтоб результирующий текст не превысил 4096.
Например, если ты передал макстокенс 1024, то длина твоего текста запроса не должна превышать 4096 - 1024. Т.е. максимальная длина промпт должна быть не больше 3072.

[Volgarastraport]

Я понял. Ну можно как-то задать в параметрах, чтобы ответ был в пределах max_tokens, но завершался корректно, а не обрывался на полуслове? Просто у меня большие объёмы генерации и важно из бюджета не вываливаться.

[Hemul GM]

Volgarastraport, я сам у себя регулирую. В противном случае ошибка. Параметров подобных не видел. Хотя обертку лично делал. И совсем недавно. И реализовал все актуальные параметры и методы

[hhhabr]

а подскажите почему иногда апи возвращает пустой ответ бота?

[Hemul GM]

hhhabr, не должно быть так. Может обновить нужно библиотеку. А так, ошибку нужно смотреть

[hhhabr]

Hemul GM, использую эту библиотеку https://github.com/orhanerday/open-ai

[Hemul GM]

hhhabr, ну так это левая библиотека. Скорее всего в самой ней проблема

[hhhabr]

Hemul GM, пардон,оказалось что я юзаю апи напрямую
вот код запроса

function getGPTAnswer($question)
{

$ch = curl_init();

    $url = 'https://api.openai.com/v1/completions';

    $api_key = '';

    $post_fields = [
        "model" => "text-davinci-003",
        "prompt" => $question,
        "max_tokens" => 1000,
        "temperature" => 0.5
    ];

    $header  = [
        'Content-Type: application/json',
        'Authorization: Bearer ' . $api_key
    ];

    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_POST, 1);
    curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($post_fields));
    curl_setopt($ch, CURLOPT_HTTPHEADER, $header);

    $result = curl_exec($ch);
    if (curl_errno($ch)) {
        echo 'Error: ' . curl_error($ch);
    }
    curl_close($ch);

    $response = json_decode($result);
//var_dump($result);
    return $response->choices[0]->text;




}

это тестовый вопрос

May I know which country you are from? I am a Japanese living in Malaysia. I am OK if you could ship goods to either Malaysia or Japan. Thanks Tokuda

вот пустой ответ бота

{"id":"cmpl-77oe6irjBRn8Ovxq2","object":"text_completion","created":1682097334,"model":"text-davinci-003","choices":[{"text":".","index":0,"logprobs":null,"finish_reason":"stop"}],"usage":{"prompt_tokens":46,"completion_tokens":1,"total_tokens":47}}

[Hemul GM]

hhhabr, предлагаю тебе воспользоваться Postman'ом. Там составить запрос и можно даже получить код запроса на php. И модель лучше использовать "gpt3.5-turbo"

[hhhabr]

Hemul GM, а при чем тут Postman к тому что gpt иногда отвечает пустым ответом?

[Hemul GM]

hhhabr, у меня такого никогда не было. Так что я бы рекомендовал проверить код через автогенерацию запроса из Postman