rPman

В api некоторых провайдеров есть опция structured outputs.

Например для локальных открытых сетей в llama.cpp можно задать грамматику, и ответ будет генерироваться таким, что бы ей соответствовать... работает не идеально, исходя из особенностей gpt качество структурированных ответов ниже чем свободных, но с ними легче работать в своих скриптах автоматизации.

Это фича модели, сами разработчики об этом заявляют, что более менее адекватно она будет работать только с английским и китайским.

Используй другие модели до и после, для перевода вопроса с русского на английский и обратно.

И еще момент, 8b модель это дистиляция, у них конечно получилось нечто шикарное именно дистиляцией (особенно qwen модели) но все же 8b очень слабая модель, толку от нее будет мало.

https://huggingface.co/collections/deepseek-ai/dee...

Если тебя устраивала llama3.1 8b, то попробуй ее тюн на основе deepseek r1, говорят дистилированные модели стали неожиданно лучше чем то на чем они основаны, забрав у deepseek умение рассуждать по типу o1

И еще момент, не пользуйся квантизацией для этих маленьких моделей, или хотя бы 8b, так как качество будет падать заметнее чем квантизация оригинальных больших

Ну и чем больше весов будет у модели тем лучше, говорят deepseek-r1-llama70b очень очень хороша, и требования у нее такие что взять на vast.ai машину за дешево можно ею пользоваться на 'всю катушку'

Ну и расуждающие модели очень по разному будут работать от разных промптов, а уж если будешь вмешиваться в рссуждения (условно останавливаешь периодически, и просишь эту или другую модель проверить рассуждения, подправить, вернуть первоначальный запрос и продолжить рассуждения)

Не разбираюсь в вопросе, но когда читал про это, самое простое что можно сделать, взять обученную сетку у фейсбука, и изучить документацию по повторению их результата но уже на своих данных
https://github.com/facebookresearch/fairseq/tree/m...

Llama31-8b можно запустить на видеокарте nvidia 12..16gb с отличной скоростью, контекстное окно 128к токенов, характер и прочее можешь описать в стартовом промпте. На cpu так же работает с помощью llama.cpp.

Такую сеть можно за разумные деньги тюнить под свои задачи.

Есть ещё китайская qwen, у нее неплохие характеристики.

Старшие версии llama31-70b и qwen близки а топу, но требуют много оперативной памяти, с использованием квантизации 64..96гб ram на скорости 1-2 токена в секунду можно решить сложные интеллектуальные задачи, например адекватно допридумывать рассказы...

Да, уже считал, и это действительно реально, с относительно небольшими затратами (16-20т.р.) если тебя устроит скорость исполнения в 15-30 секунд на токен (на твоем железе llama31-70b на процессоре и 64гб оперативке будет работать токен в 1-1.5 секунд).

Необходимо собрать самый дешевый pcie nvme ssd программный raid0, купив контроллер pcie-x16 3.0 или 4.0 из четырех разъемов nvme либо четыре pcie-4x дешевых 3.0 и закупить самые дешевые nvme ssd диски от 128гб (со скоростями чтения от 2гбайт/сек).

Затем собрать из них raid0 с чередованием (win/linux это поддерживают) и разместить на нем gguf файл. llama.cpp поддерживает загрузку файла с весами с диска, без выделения оперативной памяти (но она нужна на контекстное окно, в зависимости от его размера это будут десятки гигабайт). Файл будет считываться по кругу целиком, по разу на токен, а значит скорость будет определяться именно этим. 2гб/с*4 диска = 8гб/с, 256гб 4бит квантизация будет считываться за 32 секунды.

Есть еще ограничения в скорости исполнения из-за процессора, но по уму, если бы была оперативная память то типовой десктопный процессор работал бы на скорости 15-20 секунд на токен.

Есть два глобальных подхода к автоматизации решения задач:
1. если задачу может решить человек, то задача формализуется, эмпирически (т.е. сам человек, своими размышлениями и экспериментами) формулируются правила, чаще всего переводом в математику, затем они программируются на языках программирования
2. берут какую то универсальную формулу, которая (в теории может описывать любой) описывает требуемую задачу, и каким-либо алгоритмом подбираются ее параметры. Есть кстати алгоритмы, которые перебирают не только параметры но и саму логику формулы.
Одна из самых известных математических формул, которая может описать любой процесс в реальности (с некоторым приближением естественно) - это нейронные сети (есть даже универсальная теорема аппроксимации, показывающая крутость многослойного перцептрона).

Если пользоваться вторым подходом, это может потребовать 'бесконечного' объема ресурсов или 'бесконечного' количества обучающих данных, что само собой не радует, особенно когда львиная доля ресурсов тратится на подзадачу, которая первым подходом уже решена и в сравнении не требует ресурсов вообще.

Если решать задачу вторым подходом, ты можешь скармливать нейросети сырые данные OHLCV, но помним о нормализации, которая при неправильном выборе метода может уже на старте сделать задачу не решаемой за разумный срок (как только реальность выйдет за границы цены в которой была раньше, нейронная сеть сломается).

Поэтому подумай, а как человек классифицирует данные? в каком виде он на них смотрит? в виде графика на котором он рисует линии? вот и представь данные как такой график (нормализуй не от min/max датасета, а текущего фрейма, то что идет на вход нейросети, если что этот подход ничего не гарантирует но как минимум сеть будет видеть то же что и человек).

Есть рекомендация, исключать из обучающих данных атрибуты, которые сильно корелированы, они считаются бесполезными... но важно, какие именно типы данных будут исключены. Индикаторы это некий вид нормализации данных, наличие которых может оказать большое влияние на поиск решения быстрее (т.е. вместо исходных данных, обучающая выборка пусть состоит из различных индикаторов или вместе с ними)

Типичный 'аналитик' начинает рисовать на графиках какие то кривые, обычно по какому то не сложному алгоритму, вот и автоматизируй этот процесс не ИИ алгоритмами, и добавь результат в обучающую выборку, возможно это поможет?

p.s. повторюсь, знание выстраданое многими - бесконечно долго на спекулятивном рынке зарабатывают только обслуга (лопаты продавать эффективнее чем добывать золото), и все места уже заняты и 'охраняются' законодательно (сами биржи и держатели эмиссии, т.е. банки для валют и эмитиенты для ценных бумаг). Все остальные это корм, который кормят крошками чтобы привлечь побольше капитала и забрать все.

И даже если закрыть глаза на манипуляции (в криптовалютах одно время было так что они были слабы) и рассматривать рынок как честный, каждый трейдер торгует против всех остальных, какую бы ты стратегию ты не разработал, долго она не проработает, потому что все изменится и придется разрабатывать эту стратегию заново уже под новые реалии... но данных то на эти реалии у тебя еще нет?!

p.p.s. на спекулятивном рынке можно зарабатывать на постоянной, это тяжелый труд, высокое психо-эмоциональное давление, огромные риски... и речь идет о считанных десятках процентов годовых.

Полистай идеи в старых jailbreak типа таких (лучше погугли, можно найти больше)

Но главное, не надейся что такие промпты будут долго работать, с той стороны не идиоты сидят, и промпты пользователей анализируют максимально тщательно, так как эта информация наиценнейший актив, позволяющий значимо улучшать модели.

p.s. ты пробовал открытые аналоги, ты пробовал уйти от изображений к текстовому описанию, который получаешь сторонними средствами (недавно вышла facebook sam - модель для сегментирования объектов на изображении, можно разобрать, каждое по отдельности проанализировать, и серией запросов набрать описание)