Какая AI модель дешевле в пересчете на решение задачи в программировании?

Question

[weranda]

Тестирую тут разные модельки для решения разных задач по программированию. В разное время у моделей разное поведение. Одни многословнее, другие решают задачу за раз, в других приходится задавать доп. запросы и т. п. В итоге недорогая по стоимости за токены модель может «сожрать» бюджет немногим отличающийся от дорогой за токены модели, но решающей задачу буквально за раз, почти.

В связи с этим встал вопрос о том, может ли оказаться более дорогая модель по результатам работы определенного периода и/или решения одного и того же круга задач дешевле или сопоставимой по цене с более дешевой? Или более дешевая, наоборот, немного отличающейся по бюджету в сравнении с более дорогой? Попробовал поискать информацию в сети по этому вопросу, но не нашел.

Если вы работаете или работали с разными моделями, то есть ли у вас наблюдения на этот счет?

Answer 1

[Ronaldo]

Отказался от платных моделей, сейчас мой топ такой, в порядке работоспособности и качества кода: (все бесплатные без API)
- MS Copilot (GPT5)
- Google Gemini 2.5Pro
- QWEN Max Preview
- DeepSeek
- Grok 4
- KIMI K2

Локальные:
- Seed OSS 36B *
- Qwen3 Coder 30B
- Gemma 3 27B

* (очень долго рассуждает, 200строк класс C# = 20мин на 3090, но очень код неплох и много полезного можно почерпнуть из размышлений)

Comments

[weranda]

Интересно. Вы про те бесплатные версии, которые после регистрации можно пользовать в ограниченном режиме или вы какую-то схему «замутили» для безлимитного доступа к ним? И, кстати, интересно, почему отказались от платных моделей? Если так случается, что лимит заканчивается, то ждете или переходите на другую сеть?

[Ronaldo]

Ни у одной бесплатной модели не заканчивался лимит. Я не уверен на 100% в MS Copilot, что у него нет дневного лимита, но он пока не попадался. Остальные модели официально полностью бесплатные (у некоторых есть "power-up" платные опции, вроде размышлений или исследовательских агентов).
Отказался от платного ChatGPT, потому что не увидел сильной разницы с бесплатными онлайн моделями.
Да и зачем платить за ChatGPT5, если у MS он бесплатный.

Answer 2

[Виктор Петров]

Если брать ценник, то тут, кмк, локально размещенная бесплатная модель + RAG решает.
Из минусов: "железо" и время. Тут всё таки для серьёзной модели и железо соответствующее нужно.

Comments

[Дмитрий]

Очень странная экономика.
Железо, которое потянет тот же уровень, что подписка за 20 баксов, будет стоит в районе $10к
локальные модели пока что не нужны для личной разработки. Если секретные данные и ядерные исследования -- ну ок тогда, можно заморочиться. Но для личного пользования можно 20 лет тратить на подписку эти деньги с железки.

[Виктор Петров]

Дмитрий, ну вот я о том же.
Мне персонально выгоднее заплатить, чем морочиться с локалкой. Единственный вариант – это задачки уровня EmbeddingGemma.

Answer 3

[Дмитрий]

Попробовал поискать информацию в сети по этому вопросу, но не нашел.

Зачем обманывать? Не искал же. Когда каждую неделю публикуют по несколько десятков бенчмарков, и ты не нашёл? Это как вообще?

С таким упорством тебе любая модель подойдёт, какая разница, если даже бенчмарк найти для тебя проблема...
https://www.swebench.com хотя бы для кого придумали? О нём по-моему из каждого утюга говорят, кто хотя бы краем уха интересуется LLM.
На https://www.vals.ai куча бенчмарков.
https://artificialanalysis.ai
Столько бенчмарков каждый день выходит, что времени не хватит всё разбирать.

Если вы работаете или работали с разными моделями

Любой адекватный разработчик, который продуктивно использует нейронки сейчас просто обязан пользоваться практически всеми существующими моделями и уметь их применять, знать различия. Кто пользуется одной моделью -- застрял где-то в болоте.

Сейчас нейросети это не "какая модель топовая", а какая модель топовая сегодня. Всё меняется каждый день с колоссальной скоростью, нужно следить за бенчами в реальном времени, тогда будет какой-то толк.

И вообще вопрос некорректный, на который нельзя ответить без поставленной задачи. Для каких тебе задач нужна модель? Что она должна делать? На каких языках кодить? Должна уметь в фундаментальные алгоритмы или просто на джаваскрипте формочки двигать? Какие фичи? Агентская? Должна уметь вызывать тулинг, MCP? Или просто считать бакс на фикс в тупую? Нужна скорость? Нужна точность? Итеративность или one-shot? Насколько большое контекстное окно ожидается?

Если всё так же лень искать, поищу за тебя абстрактный бенчмарк в вакууме под рандомную задачу:
На текущий день самым оптимальным по бенчмаркам идёт Grok 4 Fast. Он в топе по соотношению цена/качество/скорость. Но ситуация поменяется уже через неделю, зачем тебе эта информация, если ты не будешь искать новый бенчмарк через неделю, непонятно.

Comments

[weranda]

Подскажите, пожалуйста, в каком месте хотя бы по одной из данных ссылок есть оценка стоимости выполнения задачи из расчета стоимости моделей с учетом практического опыта людей? Вы, наверное, пользуетесь многими нейросетями, судя по вашему комментарию. Какое у вас наблюдение о стоимости в контексте вопроса применительно вашей практики?

[Василий Банников]

weranda, в разных задачах разные нейросети дают разный результат.

[weranda]

Василий Банников, Василий, если вы пользуетесь ими на платной основе и у вас есть наблюдения по сути вопроса, поделитесь ими, пожалуйста.

[Дмитрий]

weranda, тебе же сказали: ответь хотя бы для себя про ЗАДАЧИ, которые у тебя стоят. Невозможно без вопроса дать ответ. У каждого свой опыт под СВОИ задачи. Мы не знаем, что тебе нужно, что ты разрабатываешь, какие требования.

Для каких тебе задач нужна модель? Что она должна делать? На каких языках кодить? Должна уметь в фундаментальные алгоритмы или просто на джаваскрипте формочки двигать? Какие фичи? Агентская? Должна уметь вызывать тулинг, MCP? Или просто считать бакс на фикс в тупую? Нужна скорость? Нужна точность? Итеративность или one-shot? Насколько большое контекстное окно ожидается?

ответь на все эти вопросы хотя бы у себя в голове, и всё станет понятно

Если ответить не можешь, значит либо бери любую, либо тебе не нужно это вообще.

[weranda]

Дмитрий, Дмитрий, в рамках вопроса круг задач особой роли не играет. Меня интересуют опыт, наблюдения людей о стоимости решения их +- однотипных повседневных, рабочих задач с помощью разных нейросетей. Ответы на ваши вопросы не дают в разрезе вопроса никаких ответов по сути вопроса.

Если вы натаиваете, то давайте пройдемся по вопросам:

1. Для каких тебе задач нужна модель? — Для кодинга python, javascript, html, css, sql и т. п. Это как-то отвечает на мой вопрос о наблюдениях людей? — Не думаю.
2. Что она должна делать? — Писать код, проверять. Этот ответ то же не дает ответа на поставленный вопрос.
3. На каких языках кодить? — Python, GO, PHP, SQL. Не увидел тут связи между наблюдениями людей о стоимости.
4. ...

Можно продолжить отвечать на вопросы, но это я отвечаю на вопросы, а не люди делятся опытом в своих наблюдениях о стоимости решения задачей. Мне кажется, вы пытаетесь подобрать инструмент под задачи, но как это решит вопрос — не очень понятно.

[Василий Банников]

weranda,

Не увидел тут связи между наблюдениями людей о стоимости

В хорошо поставленном вопросе будет половина ответа)
Если знаешь для каких конкретно задач ты будешь использовать нейросеть - можно либо найти чужой бенчмарк, который на это проверяет, либо сделать свой.
Ну или хотябы можно будет отсечь те варианты, которые точно будут плохо справляться с поставленной задачей (или вообще не будут)

Соглашусь с Дмитрием, что ситуация меняется чуть ли не каждую неделю и нет смысла останавливаться на какой-то одной, если нужна "лучшая"

[weranda]

Василий Банников, У вас есть практические наблюдения по сути вопроса?

[Василий Банников]

weranda, нет. Я не пользуюсь платными моделями

[Дмитрий]

однотипных повседневных, рабочих задач

для меня, например, на сегодняшний день однотипная повседневная задача это реверс-инжиниринг запакованных самомодифицирующихся руткитов через гипервизор уровня драйвера UEFI и SMM режима, трейсинг потока исполнения через аппаратные средства процессора, аппаратная отладка на уровне железа. Это моя ежедневная рутинная работа, которой я занимаюсь уже несколько лет.

Для кого-то повседневная задача это архитектурный дизайн сложных распределённых приложений и кластеров обработки данных.
Для тебя это "кодинг python, javascript, html, css, sql и т. п.".
У всех разные повседневные задачи. И под эти разные задачи нужны разные инструменты.

Что она должна делать? — Писать код, проверять

ну вот, твоя задача под силу ЛЮБОЙ модели. Поэтому это отвечает на вопрос ещё как.
Мне, например, нужно чтобы модель умела в тулинг, вызов агентских инструментов, MCP, умела подтягивать к контексту документацию хотя бы, работать с отладчиком, с инструментами реверс-инжиниринга.
Кому-то нужны запросы в векторные базы данных, всякие RAG-кластеры, и прочая объёмная и сложная хрень.
И для всех этих задач опять таки нужны разные модели. Одни умеют лучше одно, другие — другое.
Поэтому я использую. минимум 4-5 разных моделей, под каждую задачу свою.

Мне кажется, вы пытаетесь подобрать инструмент под задачи

ИМЕННО это я и пытаюсь объяснить! Каждой задаче — свой инструмент!
Любой человек, чтобы забить гвоздь, знает, что нужно идти за молотком, а не за отвёрткой. А ты задаёшь вопрос: посоветуйте, какие мне инструменты купить? Какие дешевле, а какие удобнее и надёжнее? Ну вот я знаю классный функциональный шуруповёрт, но сомневаюсь, что он тебе поможет в задаче забивания гвоздей. Пока не расскажешь вопрошаемым про то, что надо забить гвоздь, советы людей не имеют смысла, потому что задачи людей совершенно могут не совпадать с твоими.

Не увидел тут связи между наблюдениями людей о стоимости

Ну потому, что для твоих задач этой разницы нет!
Но когда тебе нужно, например, запустить итеративный процесс планирования архитектуры приложения, а не вывода формочки на html+css, ты запустишь самую мощную доступную тебе модель на максимальных настройках, чтобы она максимально долго и тщательно продумала твою архитектуру. А ещё лучше, запустишь SGR-агента, который несколько часов будет работать и вернётся с охренительно продуманной архитектурой. Это может потратить под сотку баксов, но сэкономит несколько недель(!!!) рабочего времени. Для задачи архитектуры это будет очень дешево и эффективно, для твоей задачи с html и javascript это будет тупейшая трата денег и нерациональное использование. Видно разницу в моих примерах?

Другой пример:
Мне вот надо перед каждой задачей прогревать контекст документацией в несколько сотен страниц формата А4, плюс language reference языка, на котором будет модель выдавать мне код. На что я для этого смотрю? Правильно, на окно контекста! Как считается контекст? А по-разному он считается, у каждой модели свой токенизатор, который размер посчитает по-своему. Мне нужно подобрать подходящую модель, чтобы мой запрос или серия размышлений не вышли за пределы окна, ибо если они выйдут, модель начнёт галлюцинировать и все потраченные деньги на запрос уйдут коту под хвост из-за неверно рассчитанного мной размера окна.
Input-окно контекста выходит за пределы окна любой существующей модели? Ну тогда надо думать про векторную БД и искать модель, которая умеет с этим хорошо работать. Это новые требования, новые цены, всё снова своё.
Не важно всё это? Ну конечно же важно!

но это я отвечаю на вопросы, а не люди делятся опытом

Ответив СЕБЕ на все эти вопросы, ты сам дойдёшь до ответа. Правильно поставленный вопрос — это половина ответа.

Итого, раз уж ты хочешь сферического опыта рандомных людей для их задач в вакууме,
я использую:
Для сложных архитектурных или исследовательских задач — GPT-5 Deep Research или Gemini Deep Research. Но он код не пишет, он читает пейперы, извлекает и подготавливает из них контекст, которым можно прогревать уже агента для конкретных задач.
Для онлайн кодинга пользую Cursor за 20 баксов. Там могу выбрать нужную мне модель опять таки под конкретную задачу и язык. Если это что-то среднее, то подойдёт стандартный gpt5 meduim ризонинг. Если это какой-то быстрый CLI-флоу, то нужен минимальный latency, например gemini flash. Тот же Grok 4 fast очень неплох и сейчас бесплатный в курсоре пока stealth mode.
Для standalone задач — Gemini Flash/Pro выходят недорого. gpt5-mini неплох иногда бывает. Grok 4 Fast ещё не пробовал, но потенциал судя по бенчмаркам у него огромный.
Быстро погуглить что-то когда лень — кидаю в Perplexity Research-таску или лабу создаю и мусора туда закидываю в контекст чтобы быстро побрейнштормить и прочитать по диагонали, что он там набредил.
Qwen иногда удивляет, но он очень контекстозависимый и в тулинг с трудом умеет. Зато там нет общераспространённой сраной цензуры.
Для тяжёлого реверса и MCP использую gpt5 в максимальном high ризонинге, если через Курсор, или что-то из мини-моделей, если API. Но в то же время, high-ризонинг может навредить, ибо у него "горе от ума" иногда случается и он слишком оверинжинирит простые кодинг-таски, а вот для реверса идеально.
Если нужно максимально быстро закрыть типовой баг в коде и запушить изменения как можно менее напряжно, заюзаю Codex.

И это не полный список, а только то, что удалось вспомнить с ходу.

[weranda]

Дмитрий, Дмитрий, вы пишите много полезной информации, приводите интересные примеры, но не отвечаете на суть исходного вопроса. Вы пишите о задачах, инструментах, моделях, гвоздях, молотках, шуруповертах, абстракции, выборе моделей под задачи, mcp, rag, отсутствии разницы, объеме контекста и прочем. Вы показываете свою экспертность, верно указываете некоторые моменты, но уводите в сторону от сути вопроса.

Можете привести из своей практике примеры в формате: одна и та же задача > разные модели > кол-во итераций > итоговая стоимость? Есть такой опыт?

[Дмитрий]

я их привёл предостаточно