Обнаружила что очень мало литературы по LLM?

Question

[alex_agaphe]

Что почитать чтобы это не выглядело как магия (OpenAi)?
Нарпимер как заэкстрактить мусорные слова тоже например хороший, люксовый, дешевый, подороже?
Или где в документации описано возвращение в формате json?

1. Analyze user messages and extract booking parameters where applicable:
- max price: Maximum total price

- min price: Minimum total price
- quality: Quality of the laptop (optional)
2. Format your response as a compact JSON string without indentations or line breaks, strictly following this structure:

{
"response": "Your reply to the user",
"extracted_params": {
"price_max": number or null,

"price_min": number or null,
"quality": "quality of laptop or null"
},
"communicate": true or false,
"lang": "en" or "ru" or "zh" or "es" or other
}

Например запросы не экстрактит:

- "Lux laptop"
- "Good laptop"
- "Awesome laptop"
Экстрактит в ответе - вы ищите но качественную характерситику не экстрактит.
Где лучше почитать про это?

Comments

[d'Ivan]

А не проще ли взять Эластик или Монго?

Answer 1

[rPman]

GPT ИИ к сожалению это именно магия, на основе детерминированной математики получили не детерминированный результат, который симулирует человеческий ИИ, и который даже можно попытаться использовать

Сильные версии gpt (старше openai:gpt3.5) можно попросить словами дать ответ в json, и так же словами или стандартными способами описания форматов, прямо в запросе... результат будет с некоторой вероятностью не верным, это фича и боль gpt

Некоторые провайдеры позволяют указать, например openai structured outputs или у открытой llama.cpp grammars (это фича программы для запуска ИИ а не моделей), позволяющие описать ограничения на формат ответа, соответственно для json есть готовые описания, можно даже ограничить в значениях (там есть свои нюансы, так как одно и то же слово можно описать разными токенами), это позволит гвоздями прибить ответ модели к требуемому формату, ценою понижения качества результата (но в каких то случаях - повышения), ответ можно получить только экспериментами на своих данных.

По поводу как решать задачи с поиском слов, приведи по больше примеров, наилучший на текущий момент из подходов, это multi shot, где ты даешь модели последовательностью "системный промпт - пример вопрос - пример ответ - пример вопрос - пример ответ - вопрос -" и она выдает ответ, чем больше и лучше будут примеры, тем выше качества ответа. Системный промпт должен быть максимально подробным и содержать всю необходимую для принятия решения информацию, не надеясь на знания модели (их у нее так много что это мешает)

Осторожно, gpt очень плохо работают с данными, когда нужно из большого объема вытаскивать большой объем, например формировать список, чем больше будет данных, тем выше вероятность что модель что то пропустит или еще хуже, добавит что то от себя. Лучшим способом будет режим чата - когда после системного промпта идут которткий кусок данных, и в виде ответа модели - сообщение о наличии или отсутствии в нем искомых данных, соответственно подавая исходные данные по частям, модель будет давать ответ тут же, а так же видеть предыдущие варианты как пример multishot... Но чем больше данных будет в чате, тем хуже может быть, так как данные могут быть однобокими, что может испортить качество результата.. т.е. нужен механизм фильтрации, какие предыдущие данные сохранять в чате (критерий - уникальность, разруливание спорных случаев, исправление ошибок модели при ручной модерации и т.п.). Так как большинство провайдеров умеют кешировать начало промпта (тарифицируя эти токены значительно дешевле), такой подход может быть значительно эффективнее чем если делать один запрос со всеми входными данными.

Наилучший на текущий момент способ улучшения качества ответа - за счет экспоненциального роста затрат, это повтор вопроса (при случайном seed), сбор статистики ответов и выбор наиболее вероятного. Т.е. делаешь 16 одинаковых запросов, получаешь 16 разных ответов, выбираешь повторяющиеся чаще всего как верный ответ... увеличивая в 2 раза количество запросов, ты поднимешь качество ответа на условный процент, рост не бесконечный, обычно где то на тысячах попытках рост из линейного становится 'пологим'. Не нужно надеяться на то что если ответ - в последнем токене и можно просто тысячу раз его сгенерировать (кстати это можно вытащить из logits токена, там прямо список вероятностей лежит), важно именно рассуждения по разному запускать.

Второй способ улучшения качества ответа достаточно абсурдный, - используя модели с возможностью к рассуждениям (reasoning или thinking) можно, увеличивая размер области рассуждений в токенах, можно так же увеличивать качество, вот пример зависимости от последней открытой qwen3 moe модели:

spoiler

тут по оси X - размер области в тысячах токенов, а по Y метрика качества в процентах где 100% - идеально