Использовать нейросеть для обучения на своих данных. Какую сетку лучше выбрать и где это сделать в облаке или на компе?

Question

[Владислав]

У меня есть задача связанная с написанием бота, но навыков программирования не имею.

Я трейдер, у меня есть торговая стратегия, и я хочу написать бота который будет следовать моей стратегии.
Поскольку навыков кодинга у меня нет, и просто переформатировать мою стратегию под торгового бота не простая задача (Бот использует только *индикаторы для принятия решений, я же в своей стратегии их не использую)
* Индикатор в трейдинге используется как инструмент для расчета или поиска закономерностей в волатильности или перепроданности инструмента и т.п.

Для решения этой не тривиальной задачи я решил воспользоваться GPT4. Что-бы он анализировал мою торговую стратегию и интерпретировал ее в алгоритм, который в дальнейшем нужно превратить в торгового бота. =)

При исполнении моего коварного плана столкнулся с тем что ГПТ имеет структурные ограничения контекста то 8 до 32х символов в рамках чата. (*Могу ошиваться в количестве символов.)
Моя торговая стратегия не помещается в этот объем. Что бы не разбивать работу на более мелкие части и не связывать потом одно с другим (просто лень), мне пришла в голову мысль обучить свой ГПТ на своих данных.
Подскажите в чем я заблуждаюсь, как лучше это реализовать на компе или в облаке, какую нейросетку использовать, и как уменьшить затраты.

Comments

[U235U235]

Если вы так доверяете ChatGPT, то почему этот вопрос задаете не ей?

[Everything_is_not_so_bad]

столкнулся с тем что ГПТ имеет структурные ограничения контекста то 8 до 32х символов в рамках чата. (*Могу ошиваться в количестве символов.)

в смысле? Типа, до нескольких слов?!

[rPman]

Everything_is_not_so_bad, автор вопроса ошибается, у gpt llm нет таких ограничений. Размер контекста доступных открыто текстовых начинается от 4к токенов (это примерно тысяча русских слов, или две агнглийских), так же лама обучалась на 8к а 3.1 версию расширили до 128к токенов (то это почти фиктивный размер, так как при росте количества информации там начнутся ошибки)

[Everything_is_not_so_bad]

rPman, тогда автор забыл уточнить, что в контексте обычно фигурирует буква k, означающая kilo. Скорее всего, автор имеет в виду 8-32 k.

[Everything_is_not_so_bad]

Моя торговая стратегия не помещается в этот объем.

Стратегия должна уместиться в пару тысяч слов. Особенно, если попросить ГПТ оставить только суть.

[Everything_is_not_so_bad]

Количество слов, которое соответствует 8 000 токенам, может варьироваться, поскольку токены могут представлять собой как отдельные слова, так и части слов. В среднем, один токен соответствует примерно 0,75 слова на русском языке. Исходя из этого, 8 000 токенов могут соответствовать примерно 6 000 словам.

Однако это значение может изменяться в зависимости от конкретного текста и его сложности. Если текст содержит много длинных или редких слов, количество слов может быть меньше.

[Владислав]

Доброго дня.

Поясню еще раз по поводу задачи. У меня есть "стратегия торговли", мой "алгоритм" по которому я принимаю решения при торговле.
Невозможно скопипастить алгоритм, и превратить его в торгового бота без ухищрений. Поскольку торговый бот не так и не из таких источников как я получает информацию.
Моя задумка была сложить всю информацию в одну корзину (записи стратегии, примеры сделок и литературу на которой обучался) и попросить гпт преобразовать мой алгоритм в алгоритм для торгового бота. (Я понимаю что за ним нужно все перепроверять). А потом попросить его помощь в кодинге самого бата.
То есть ГПТ никак не будет взаимодействовать с рынком или участвовать в принятии торговых решений. Мне нужна его помощь в преобразовании моей торговой стратегии и алгоритма торговли в то, что больше подходит для бота, и в частности помощи в написании самого бота.

[rPman]

Это очень непростая задача, ее и человек то не каждый решит.

Для начала тебе нужно дописать свою стратегию, причем так, чтобы каждая часть была формализованной,э. Не достаточно написать 'сделай хорошо', нужно описать что такое хорошо, численно (математически) и что значит 'сделай', и уже с этим описанием иди к ии.

И ещё, воспринимай современный ИИ, как старательного, эрудированного но тупого человека. Он не может "читать твои мысли', как это делают опытные люди, которые скорее всего уже делали то же самое и догадаться что ты имеешь в виду. Описывай все максимально подробно и не противоречиво

Answer 1

[rPman]

Нейросети в первую очередь требуют данные, чем больше тем лучше. Во вторых эти данные должны быть качественным взвешенными, иначе редкие но важные события будет затменены частыми но обычными, это первая проблема, на которой практически все обламываются и скорее всего типовые решения не позволят получить результат.

Ещё момент, нужно четко понимать, что именно ты ищешь и какую задачу ставишь. Верхнеуровневая задача - заработать денег возможно формулируется просто, но практически не реализуется на практике (или потребует неадекватное количество ресурсов), а тупое прогнозирование следующей цены может не дать ожидаемого результата. Начни сначала что то по проще, например прогнозируй ликвидность и разработку инструменты для оценки своей стратегии, решая эту задачу ты скорее всего начнёшь понимать величину проблемы.

Использовать transformer возможно очень правильно (attention по уму для временных рядов подходит), но точно готовых решений не найти и придется с нуля решать все самому. Один токенизатор чего стоит.

p.s. данные - это главное, не только количество но и их уникальность (разный тип данных а не только их объем). На рынке спекулятивной торговли все не могут победить, и действует очень сильная конкуренция, если решение простое то его уже нашли и эксплуатируют, а значит твое решение должно быть лучше... теперь этот принцип продли во времени и дай участниками огромные ресурсы... каждый новый участник станет кормом для остальных

Comments

[Владислав]

Спасибо за ответ!