rPman

Если оперативной памяти хватает, то скорость pci-e будет влиять ТОЛЬКО на время первичной загрузки модели в vram (обычно это один раз при запуске приложения)

Если оперативной памяти мало, то пользователи начинают крутить разные опции, оптимизаторы, что то перемещается в cpu ram, вот тогда обмен данными может стать значимым. Мне кажется в этом случае уже cpu становится узким местом а не обмен данными.

Поэтому не беспокойтесь.

p.s. если использовать gpu llm - текстовые ИИ, то там есть алгоритмы (для генераторов я таких не видел но по факту там тот же трансформер, так что могут быть) размазывания нагрузки по нескольким видеокартам, вот в этом случае скорость pci-e становится уже значимой, но и тут, передаваемые данные все еще логарифм от размера модели.

На текущий момент ИИ на базе gpt не является Универсальным ИИ (AGI), поэтому по глупому особой пользы вы от него не получите, лучшие результаты подключают в генерации текстов (маркетинг, может быть развлечения и почти наверняка симуляция людей в чатах и соцсетях), для программирования они ПОКА не подходят, по тем причинам, что в основе своей не содержат базы данных (условный RAG подключен внутри api), доступа к справочникам по библиотекам и фреймворкам.

gpt пытается быть похожим на человека, у них проблемы с обучением (маленькое контекстое окно и при его увеличении они тупеют), а значит будет точно так же ошибаться и тупить, если спросить его без шпаргалки (много ли обыватель накодит с листочком бумаги и без доступа к интернету?)

Каких только я расширений не смотрел, все они просто окно интерфейса к gpt, примитивные, даже не собирают минифицированный и не хранят контекст (системный промпт) между запросами, передавая весь текущий файл или даже проект (что дикость) в контекст.

Есть несколько проектов, которые представляют из себя полноценную среду разработки (и само собой не такую полнофункциональную как msvc), где все это пытаются реализовать и что то может получается, но результат все еще посредственный

Поэтому, я считаю, пока нужно либо самому разрабатывать такое расширение (или хотя бы тулчейн, работающий с проектом параллельно), в котором файлы проекта обрабатываются, преобразуются в запросы, проверяются и все это кучей ИИ агентов ... может что то и получится.

p.s. openrouter, оплата в криптовалюте, все топовые нейронки и не только, универсальный api (совместимый с openai) и т.п.

p.p.s. в программировании современный ИИ неплохо себя показывает в анализе кода, особенно когда не требуется аналитика глобальная по проекту, а вот конкретный файл, в каком то смысле он понимает что написано, с ним можно 'побеседовать со своим кодом', по задавать вопросы и получить иногда (70% топовые нейронки) правильный ответ.

Вот тот самый момент с не 100%-тной точностью ломает все адекватные задачи, которые можно было бы ему поручить

Попробуй так:

Правая кнопка на ноде с промптом, "convert widget to input" -> "Convert text to input" и промпт можно получать как текст от других нод.

Так делаем для каждой ноды с текстом, в который нужно копировать текст.

Затем, для исходного промпта создаем Add node -> utils -> primitive, проводим от ее выхода коннекты до нужных нод (она сама станет текстовой)

upd. https://github.com/myshell-ai/OpenVoice
https://github.com/jasonppy/VoiceCraft
но ты не очень контролируешь эмоции, полагаю тут это тюнингом нужно делать
---------------

Эмоциональной речью хвастались openai, но чужие голоса тюнить не дают, мало того они отключили один из своих, только за подозрения в похожести голоса на чей то популярный.

Сам не пользовался, но по отзывам говорят звучит шикарно,.. русский само собой с акцентом.

Серая юридическая зона! очень страшно влить миллионы в тюнинг модели и получить судебный запрет из-за копирастии всех своих продуктов... это не то что хочется получить, если у тебя на кону сотни миллиардов.

p.s. еще этим занимались alibaba qwen, у них точно были gpt модели, где голос был на входе и на выходе, но там английский и китайский, я тоже не смотрел

Ну и facebook чем то таким занимается, полистай их публичный архив, там есть audio-audio трансформер, но там явно без каких то значимых результатов, что бы сравнивать с топами, но все открыто
тупо первое попавшееся, кажется это переводчик голос-голос

У тебя ошибка в постановке цели - 'обучить с нуля'.

llama3 обучалась на 15Тера-токенах, это примерно на три порядка больше чем в твоих гигабайтах, этого катастрофически мало, для того что бы что то внятное получилось.

Для обучения модели, по мощности сравнимой с gpt3.5 нужно 10^26 степени flops (очень приблизительная оценка, скорее всего занижена, так как все очень зависит от использованного оборудования), посчитайте необходимое количество GPU и энергии, для того что бы достичь этого объема вычислений (для примера бери nvidia a100 80gb считая что ее мощность 20tflops это 2*10^13, да так считать не правильно, и в зависимости от задач число можно как увеличивать в 20 раз так и уменьшать в разы).
------------

Что можно сделать и почему скорее всего это то же не получится и почему это тоже будет дорого - можно взять уже обученную (модели с пометкой completion а не instruction) модель и дообучить на своих данных. Если делать это в лоб то качество работы результата значительно упадет, если исходные данные будут хоть немного противоречить (не совпадать) с изначальной обучающей выборкой (есть алгоритмы анализа обучающей выборки на сравнение с исходной).

НО! Ни одна компания, создающая топовые модели не делится исходными данными (это похоже стало по цене сравнимо с затратами на вычисления), а те что делятся - очень слабые, хуже openai gpt3.5 это уже давно стало минимальным эталоном, все что хуже не будет адекватной instruction.

Единственное, где finetuning еще как то можно использовать, - это доработка формата ответа (обучающую выборку собирают в купе с ответами самой модели или анализируя эти данные с ее помощью), а так же для фиксации направления использования (не instruction), например превратить модель в классификатор, ты ей текст, а она тебе ответ - типа сообщение содержит хейт, например буквой ответит).

После тюнинга модели на своих данных, ее нужно продолжить дообучать (из gpt35 так сделали gpt4), с помощью RLHF, это когда куча не дешевых людей (потому как дешевых уже давно заменяют другой моделью, например openai) анализируют ответы и помечают где модель ответила правильно а где нет, еще лучше когда дают оценку, или выбирают лучший из нескольких.

Т.е. тебе нужна база вопросов, это еще одна обучающая выборка (специально подготовленная), скорее всего это еще одна причина, почему существуют сайты типа чат арены, где 'за бесплатно' у народа собирают огромную базу вопросов и их бенчмарков.

p.s. резюмирую, если у тебя в кармане нет порядка $10кк а скорее всего в десятки раз больше, то 'с нуля' обучать свою модель у тебя не получится.

В мире не так много компаний которые в принципе на это способны - в россии например на это способны богатейшие только сбербанк (гигачат) и яндекс (yandex gpt), последние этим занимаются давно (за долго до появления chatgpt) и единственная их проблема - не хватает денег (и блокировка доступа к покупке оборудования), и возможно специалистов.

https://huggingface.co/models?other=speaker-recognition как отправная точка для поиска готовых моделей (можно поиграть с поисковым запросом)