rPman

Из-за технических ограничений современного ИИ, данная задача решается плохо. Причина - gpt это как человек, страдающий антероградной амнезии, у него есть кратковременная память (контекстное окно) но ее размер сильно ограничен (стоимость простого ответа - квадрат от размера контекстного окна, а обучение - куб, есть лайфхаки, уменьшающие эти требования но они уменьшают и потенциальные возможности, связанные с данными на больших 'расстояниях'). А еще из-за не совершенства технологии, то что ИИ уже узнало, пока училось, у нее 'путается в голове' и оно галлюцинирует.

В качестве примера, есть llama scount с 10кк окном контекста, но она потребует 18терабайт памяти (gpu естественно) для работы, и даже тут в нее влезет не так много документов

Готовое не посоветую, это сейчас топ исследований, гитхаб завален всякими поделками chatgpt с RAG, со средним качеством. Вся задача сводится к поиску частей документов, которые хоть как то подходят к ответу, и сваливание их в итоговый запрос, что само собой не может дать хорошего результата (нужные данные могут никак не быть близко по смыслу с вопросом). Есть попытки строить граф знаний, но это форма представления но не алгоритм разбора сырых данных. Технологии, которые позволяют строить индекс на основе смыслов - построение embendings векторов (вот отвечал списком ключевых слов для поиска)

Если каждый отдельный документ помещается в контекстное окно, то проблема решается итеративно - берем наш исходный вопрос, и задаем его ИИ для каждого документа по отдельности, можно добавить что то типа 'для решения нашей задачи есть ли в этом документе что то полезное?'. В последствии повторить вопрос уже для тех документов или их частей, которые оказались полезны. Можно даже заранее строить индекс из документов, являющийся краткой самморизацией его содержимого (или по главам). Этот подход работает но очень дорогой/медленный (можно минутами-часами ждать ответа).

Обработка больших данных с помощью ИИ это что то типа чата, "системный промпт + пример + ответ + пример +... + часть исходных данных -> ответ", причем полученные предыдущие ответы могут пойти в примеры.. это multishot подход значительно повышает качество ответа до сих пор. Ты как бы пробегаешь по всему документу, где после подачи его части ИИ делает свой комментарий - о это полезно, или это нам не нужно... на практике там конечно еще рассуждающая часть и итеративный процесс может состоять из нескольких шагов для каждой части - типа сначала спрашиваешь о чем тут говорится (это можно закешировать), позже добавляешь вопрос, полезно ли это для нашего ответа, а так как многие модели научены размышлять, придется еще раз спросить - ответь да/нет (тут можно включить structured outputs, зафиксировав формат ответа). По мере анализа сохраняешь ссылки на те части документа, что оказались полезны, и уже их можно использовать повторно для итогового диалога.

С анализом между документами еще хуже (когда для ответа требуется информация, которую можно получить проанализировав сразу несколько документов, но по отдельности они бесполезны), у топовых ИИ можно можно просить задавать вопросы, т.е. ии может просить дать недостающую информацию (точно помню как anthropic:sonnet пытал написать утилиту работы с guithub api подавая ему заведомо недостаточно данных, так вот правильно составленный промпт позволит ии отказываться давать ответ пока информации не станет достаточно),.. но трудоемкость получения результата будет еще выше - ведь тут для каждой подзадачи придется снова пробегать по документам или их самморизации.

Готовых нет, даже просто короткие видеосцены генерировать в указанных пределах очень трудозатратно, потому что алгоритмы основаны на шумах, которые невероятными силами удается хотя бы в пределах соседних кадров зафиксировать друг на друге (что бы бред наркомана не получался), но делать бесшовные объединения отдельных сгенерированных видеороликов сложнее на порядок.

Про звуки отдельный разговор, никакой автоматической генерации ни audio по видеоряду, ни наоборот нет (есть проекты шевеления губами под речь, но корявые и прикручивать их к генератору не просто), поэтому классическими методами придется одно на другое накладывать и подстраивать.

p.s. про трудозатраты - десктопное железо позволяет на том же HunuanVideo делать несколько секунд ролик за... примерно час (в максимальном 720p качестве или десяток минут на 520p низкого качества)

https://llm-stats.com/ выбрать Open Models и получаем что лучшая локальная за адекватную стоимость сейчас это Microsoft Phi-4 Reasoning Plus 14b (да и все семейство phi-4 занимают лидирующее место из маленьких моделей), рядышком я бы поставил qwen 30b a3b, с их возможностью переключаться на ходу в режим reasonong и обратно (она еще быстрее и памяти просит всего в 2-3 раза больше). Из мультимодальных верхушку маленьких занимает mistral small 3.1 24b и гугловская gemma3 27 (да и 12b, они не сильно отличаются).

Вы пробовали OpenManus? я читал что ее запускают с локальными моделями и результаты неплохие.

p.s. на процессоре будет МЕДЛЕННО, особенно когда работают десятки-сотни агентов и особенно если использовать режим reasoning, где за дополнительные 15% качества приходится платить минутами и часами времени

Современные модели даже маленькие требует оперативную память, я игрался с 2x16gb и этого мало. После 8-16к контекста, требования к памяти сравнимы с объемом хранения весов, а сотни килотокенов уже заметно превышают... Например gemma3 12b только для запуска требует дополнительно 24гб. И как вырожденный пример - llama scout с 10кк контекста на его полный потребует 18терабайт оперативки.

Самое простое - реализовать самому http прокси (простейшее веб приложение, которое будет слушать в формате openai api и делать то что ты хочешь а не то что ожидалось, хоть 100500 шагов)

И конечно, отредактировать wp плагин, если конечно он не обфусицирован.

Не знаешь как? спроси ИИ, уж читать код они уже научились

Таких нет, возможно кто то запилил на их основе готовый проектик, но почти наверняка выглядеть это будет топорно, лучше сам компонуй в редакторе и генерируй картинки.

Попроси copilot майкрософтовский, он слабый как ИИ но туда много что напихали

https://docs.kicad.org/5.1/en/cvpcb/cvpcb.html
назвать процесс удобным язык не поворачивается, но что то мне говорит что можно запилить скрипт, на основе openvc (снаружи) и макрософ (внутри kicad)

Самое 'простое', при дообучении новым данным, в обучающий датасет добавить целиком или частично предыдущий (эффективное прореживание данных, отдельная задача).

Можно расширить нейронную сеть (примерно как сделали с Mixture of Expert), считай обучить одну и ту же сеть разным данным, а затем из них собрать франкенштейна плюс классификатор, который на каждом слое/уровне вибирает, какую именно сеть использовать

Можно замораживать веса и обучать только на некоторых (что бы понимать что можно править а что нет, нужно иметь представление о том, какие именно данные где хранятся, а это может быть не просто, но и для этого есть алгоритмы)

Stable Video Diffusion, устанавливаете локально и пользуетесь бесплатно (не HD версии доступны даже для коммерческого использования, в т.ч. есть не только SD но и тот же Flex)

Из инструментов 'все включено' советую stable-diffusion-webui, или тот же ComifyUI (но это скорее графический язык программирования к генерации)
Без видеокарты будет работать но в десятки раз медленнее, советую 12..16gb vram

Квантизация сильно ломает слабые модели, настоятельно не рекомендую 8b..14b использовать с квантизацией меньше 8бит, да и с ней будут проблемы

Лучшая локальная модель, с адекватным размером, на текущий момент - это дистиляция deepseek r1 какой-нибудь qwen 14b или 32b

Использовать с vllm, например deepseek-r1-qwen-14b с 32к контекстом, 8бит квантизацией, батчингом и местом для kv cache работает на 2x16gb ram (точнее от каждой тратится по ~14gb), на 2x4060ti 16gb (стоят по 50т.р., это самая доступная gpu с самым дешевым vram) или используй какой-нибудь vast.ai, с одиночным запросом работает 20-30 токен/сек, а если одновременно 16 запустить, разгоняется до 250-500 токен/сек

deepseek r1 это рассуждающие модели, поддерживают только английский и китайский, отмечает рассуждения в ответе тегом .... Благодаря хорошей скорости в режиме батчинг, можно один и тот же вопрос задавать одновременно несколько раз, и сравнивать ответ (можно попросить ее же сравнить), тот что выдан чаще - тот считать верным.

Программирование у deepseek неожидано хорошее, да и в простой логике отвечает неплохо (тест на 'количество братьев у сестры' могут накосячить и топовые сети, эта выдаст неправильный в 3 из 16 запросах, и если изучить ее рассуждения, там прямо так и пишет что люди могут на этот вопрос ответить вот так поэтому пишем неверное число), подчеркиваю, на модели 14b, а уж оригинальная MoE на 600b и подавно шаг в шаг идет с топами.

таких не существуют

есть нейронки текст+изображение -> текст (а тебе нужно текст+изображение -> текст+изображение), но на рабочие задачи там 50 но 50, то не работает, то фигня получается.

нейронки, которые генерируют изображения даже близко к ИИ не подошли, это просто красивые галлюцинации.

К сожалению универсального ответа нет.

Затраты на создание адекватного детектера генератора ИИ сравнимы с созданием этого ИИ. Но хуже того, как только такой верификатор появится в доступе, на нем сразу начнут обучать ИИ что бы он его обходил, это не сложно, так как обучающая выборка будет крохотной - тысячи.. десятки тысяч статей,.. от этого не защититься.

Я во времена первой llama делал такую работу на ней, хорошо проработанный запрос, список типов запчастей (это справочник) к промпту и по одной записи из списка запчастей, и повторять для каждой

На процессоре тогда он по 20-30 секунд отрабатывал запись, несколько тысяч за несколько часов.

Весь процесс нужно сохранять и отслеживать, корректируя промпт, помню у ламы тогда была проблема с финишным токеном, после ответа она могла продолжить разглагольствовать, это тоже решаемо но нужно все это учитывать.

Сейчас у llama.cpp есть поддержка kv-кеша (не смотрел), и уж точно эта поддержка есть у топовых openai/anthropic/google, тогда каждый запрос у тебя будет моментальный, и токены тратиться только на название запчасти и ответ.

Хуже, если справочник в запрос не влезет (ориентируйся на 8к токенов, джаже топовые модели нормально только в пределах этого окна работают, хотя хз может уже все гораздо лучше стало, просто проведи тесты), тут есть варианты - можно по хардкору расписать вектора смысла (embedding) для каждого значения справочника и разделить справочник на части таким образом, что бы близкие по смыслу значения были рядом, а далекие - в другой части, и тогда для каждой запчасти делать несколько запросов с разными списками из справочника...

да это долго, но простого решения тут нет, человек делать это будет еще дольше

На самой странице модели есть пример кода на python или ссылка на github или докер образ, как ее использовать, обычно там же простым способом можно квантовать 8бит (более чем достаточно для исполнения, быстро, минимальные требования vram и без потери качества)

Есть проект vllm, в котором поддержку универсально пилят для всех топовых моделей, попробуй его, у него же встроен веб сервер, а так же веб сервер с совместимым openai api, а там 100500 локальных вебморд для использования.

p.s. только llama.cpp эффективно умеет работать на процессоре и главное использовать gpu и обычную память одновременно (например не хватает считанных гигабайт)

Есть шанс нарваться на проблемы с драйверами, ограничивающими использование видеокарты, но почему бы и не попробовать?

Если есть opencl запустить то можно, с помощью llama.cpp можно запускать на любой видеокарте, причем даже если она не nvidia, и на встройках.. вопрос на сколько быстро это будет.

И только смысла в этом нет, потому как главное у видеокарты должен быть большой объем оперативной памяти... 8b модели и так слабые, они сильнее реагируют (ухудшают качество) от квантизации, поэтому из меньше 8бит не квантуют, т.е. минимум только на веса 8гб, а еще на контекст нужно несколько гигабайт.

С другой стороны, закупить несколько, весь софт для выполнения умеет распределять нагрузку по нескольким.

Stable video diffusion, будет работать на 12-16gb gpu (например nvidia gtx 4060ti стоит 59т.р., а 3060 12гб - 35т.р. ), работает неплохо, но на сколько я знаю он работает от картинки а не запроса (т.е. если ты задаешь запрос, она генерирует из него только стартовать картинку).

Облачные ресурсы дороже на порядок, как ни крути.

Кажется Runway позволяет платить через alipay в России.

p.s. Кандинский от Яндекса ты не использовал?