Задать вопрос
@iloveapplesxd

Как выполнить точный предварительный подсчет токенов ChatGPT до отправки запроса к API?

sysprefs = 'Ты - старательный помошник. Старайся дать максимально точный ответ на заданный пользователем вопрос.'
def askGPT(question):
openai_key = getpass.getpass("OpenAI API Key:")
os.environ["OPENAI_API_KEY"] = openai_key
openai.api_key = openai_key
result = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=[
{"role": "system", "content": sysprefs},
{"role": "user", "content": question}
])
message = result['choices'][0]['message']['content']
print('ChatGPT: ', message)
question = input('Вы: ')
askGPT(question)

В данный код хочу добавить предварительный подсчет токенов, дабы при превышении их лимита, функция не посылала запрос к API, а выдавала что-то вроде: 'Превышен лимит токенов..." и просила пользвателя перезадать вопрос. В работе с этим API я новичёк :)
  • Вопрос задан
  • 144 просмотра
Подписаться 1 Простой 2 комментария
Пригласить эксперта
Ответы на вопрос 1
@Nevergreenin
Можно использовать библиотеку tiktoken от openai:
import tiktoken

def get_token_count(text):
    encoding = tiktoken.encoding_for_model("gpt-3.5-turbo")
    return len(encoding.encode(text))
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы