Как получить данные в виде JSON/String от LLM?

Question

[Ronaldo]

Как от таких (LLama, Phind, Openchat) сеток получить по API типизированные данные? Например: равномерно распределить 10 точек на участке 10м на 10м, выдать список двумерных координат?
И получить на выходе: -

"list": [  
      {"value": "1", "3"},  
      {"value": "4", "1"},  
      {"value": "5", "9"}  
       .......
    ]

Comments

[tukreb]

Никак если нейронка тупая и не умеют в csv, html json или как то иначе структурировать свои ответы.

[Ronaldo]

Видел примеры как нейронка оформляет таблицы и данные на выходе. Скорей всего должен быть способ.

[tukreb]

Ronaldo, умная от 70b умеют это довольно не плохо, остальные как повезёт. А как получить у умных, составляет правильно запрос и радуетесь ответу. Умным даже ничего разжёвывать не надо, вон скажите ChatGPT оформить ответ в csv, или json и она это прекрасно сделает.
С нейронками по проще, вам придётся сильно мучатся правильно составлять инструкции и потом перепроверять все данные. В итоге не факт, что вы сэкономите время.

[mayton2019]

tukreb, ну вообще если ты проходил курс prompt-engineering то - умеет.
Форматировать ответ как таблицы или прочие форматы.

Answer 1

[rPman]

В api некоторых провайдеров есть опция structured outputs.

Например для локальных открытых сетей в llama.cpp можно задать грамматику, и ответ будет генерироваться таким, что бы ей соответствовать... работает не идеально, исходя из особенностей gpt качество структурированных ответов ниже чем свободных, но с ними легче работать в своих скриптах автоматизации.

Answer 2

[exwill]

В общем случае, так и сказать: "нужен ответ в формате JSON в таком виде {...}". Вместо звездочек поставь свой пример. У OpenAI есть специальная опция "response_format". С ее помощью можно установить формат ответа JSON вместо text