Как отправить запрос в LM Studio?

Question

[handful]

Помогите понять как работает LM Studio api.
есть документация с примерами запроса но как сворачивать и куда пихать единственную строчку кода я так и непонял.( https://lmstudio.ai/docs/api/rest-api#get-apiv0models )
куски кода которые на нашел в интернете и которые должны отправлять промт текущей модели я так и не смог запустить, хотя установил все.

как отправить запрос в LM Studio ?

Answer 1

[latush]

для отравки запросов по http/https используется модуль requests

Answer 2

[Vindicar]

Примеры использую утилиту curl. В них прописаны:
1. URL запроса, например, localhost:1234/api/v0/chat/completions
2. Заголовки, например, Content-Type: application/json
3. Тело запроса, например,

{
    "model": "granite-3.0-2b-instruct",
    "messages": [
      { "role": "system", "content": "Always answer in rhymes." },
      { "role": "user", "content": "Introduce yourself." }
    ],
    "temperature": 0.7,
    "max_tokens": -1,
    "stream": false
  }

Как уже выше написали, читаешь доки на модуль requests (ну или aiohttp, если тебе лучше работать асинхронно), они позволяют всё это делать. Просто нужно выучить, как.

Answer 3

[Алан Гибизов]

Прямо в опубликованной вами ссылке есть несколько примеров (example) под каждый метод API. Используется curl. Возьмите их и переделайте под свои задачи.