Задать вопрос
@vseminelybim
Python ботоводство и прочая грязюка

Локальные нейросети для автоматизации. Что лучше использовать?

Всем привет!
По рабочим процессам потребовалась экая-некая автоматизация и, ввиду большой любви к машинному обучению и нейросетям, решил больше погрузиться в это дело.

Суть такова:
Есть запрос на создание автоматизированной аналитической системы, которая бы смогла собирать информацию с поисковой выдачи (статьи, новости, посты) по тематике, просматривать содержимое, взаимодействовать с контентом (где-то нажать на "Читать далее" или подобное) и составлять сводную таблицу по заданным параметрам.

Сразу оговорюсь, что писать код под каждую площадку, чтобы вытягивать div с текстом, прописывать взаимодействия с кнопками по их названию или расположению - нецелесообразно, так как сайты постоянно разные и наполнение тоже меняется. Соответственно, в какой-то момент я пришел с этой задачей к нейросетям.
Из популярных (ChatGPT, Grok, Gemini, Claude, QWEN, Perplexity) все хорошо справляются, но не закрывают полный цикл задачи, да и доступ к API (если есть) дорогой и не удобный, так как живу в РФ.
MCP сервера пробовал (те, что на playwright) для Claude, но сама нейронка начинала путаться.
Недавно попробовал MANUS, который меня очень удивил и практически полностью выполнил поставленную задачу (в рамках теста был не самый подробный промпт). Такого рода Агент мне понравился. Пробовал накодить автоматизацию с помощью Yandex Cloud (Search API и YandexGPT) и всё хорошо, да только контекстное окно в 8к токенов не радует.
spoiler
(Ну и для вайб-кодинга Cursor с Windsurf тоже, естественно, юзал)


Поэтому возникла мысль о локальной LLM. Поставил нашумевшую LMStudio, запустил сервер, напитонил микрокод.
Из этого возникли вопросики:
- Какие модели с Hugging Face хорошо работают с русским языком без тюнинга и дообучения?
- Какие железки будут нужны для комфортного и быстрого взаимодействия с этими модельками?
- Если мои мысли про локальные модели это бред, то что можно придумать ещё?
- Есть у кого-нибудь реально хорошие кейсы по использованию LMStudio по API для решения своих задач?

Ну и свои мысли, если у кого-то внутри откликнулись эти вопросы, пишите)
  • Вопрос задан
  • 159 просмотров
Подписаться 1 Простой Комментировать
Пригласить эксперта
Ответы на вопрос 1
@rPman
https://llm-stats.com/ выбрать Open Models и получаем что лучшая локальная за адекватную стоимость сейчас это Microsoft Phi-4 Reasoning Plus 14b (да и все семейство phi-4 занимают лидирующее место из маленьких моделей), рядышком я бы поставил qwen 30b a3b, с их возможностью переключаться на ходу в режим reasonong и обратно (она еще быстрее и памяти просит всего в 2-3 раза больше). Из мультимодальных верхушку маленьких занимает mistral small 3.1 24b и гугловская gemma3 27 (да и 12b, они не сильно отличаются).

Вы пробовали OpenManus? я читал что ее запускают с локальными моделями и результаты неплохие.

p.s. на процессоре будет МЕДЛЕННО, особенно когда работают десятки-сотни агентов и особенно если использовать режим reasoning, где за дополнительные 15% качества приходится платить минутами и часами времени

Современные модели даже маленькие требует оперативную память, я игрался с 2x16gb и этого мало. После 8-16к контекста, требования к памяти сравнимы с объемом хранения весов, а сотни килотокенов уже заметно превышают... Например gemma3 12b только для запуска требует дополнительно 24гб. И как вырожденный пример - llama scout с 10кк контекста на его полный потребует 18терабайт оперативки.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы