Какая модель ChatGPT лучше?

Question

[r8dline]

Я попробовал o3 mini, o3 mini high, o1 в общих вопросах и математике. И складывается такое ощущение, что бенчмарки – чисто маркетинг. Они, мало того что не смогли ответить на простой тест по истории, который я скинул как фото (изображение чёткое, без бликов), начали писать какую-то рандомную хрень, не связанную с самими вопросами (хотя даже Qwen 2.5 max разобрала и ответила), но и на простой пример по математике для 10 класса ответы получились совершенно разные и неверные. Один только Qwen 2.5 Max их по Vision выносит. Ну а так, у меня есть инвайт в Manus AI, и я решил попробовать ChatGPT Plus – одни разочарования.

Comments

[aleks-th]

А ты неправильные вопросы скорее всего задавал.
Во первых это все заточено под английский язык.
Во вторых нужно к нему приноровится...

Мне например нравится, что в 50% случаев я получаю ответы которые помогают сэкономить время, причем довольно сильно экономят.
Остальные 50% вопросов ответы конечно ахинея, но там только в поисковике искать и то маловероятно что найдешь.

Answer 1

[rPman]

Как энциклопедия, chatgpt наихудший инструмент, в него запихали столько знаний, что 'ему бошку сносит' из-за этого, галлюцинации собствено от сюда, и это похоже фича трансформера. И да, не верьте уже маркетингу, помните в каком веке вы живете, в веке победившей лжи.

Если тебе нужна энциклопедия, то тебе нужны инструменты GPT с RAG, с индексацией базы знаний (чего в принципе очень дорого, мало сомневаюсь что кто то будет делать это на универсальных доменах знаний, но если найдете то дайте знать).

Лучшая на текущий момент модель это openai gpt 4.5, у нее по заявлению openai наименьший индекс галлюцинаций, и знаний в нее запихали 'маманигорюй'. o1/o3 модели это рассуждающий файнтюн gpt4o (наверное ждем o5 на базе 4.5), рассуждения позволяют уменьшить вероятность косяков, лучше понимать контекст и позволяет находить новые пути решений (были исследования где пытались заставить модель именно изобретать новое, там куча агентов друг с другом общалась, перепроверяли друг друга и т.п.... в общем продвинутый reasoning)

Из готовых инструментов, способных работать с данными (интернет) это их собственный deep research (доступен за $200 в месяц, но кажется попробовать можно и на меньших тарифных планах).

Ну и если хочется здесь и сейчас и 'по дешевле', то составляй план исследования, по отдельности каждый шаг прогоняй через гугл, скармливай содержимое найденное в контекст модели, проси выделить важное для твоей задачи, повторяй по кругу, пока сама модель или ты сам не скажет что информации достаточно.

Я смотрел разные открытые deep research реализации, все они корявые, что то не то получается. Скорее всего перед созданием такого инструмента, нужно предварительно проанализировать интернет, выделить под каждый домен знаний свои списки источников,... ну а если тебе наука нужна, то будь готов работать с многотерабайтовым arxiv.org

p.s. что вы все хотите от моделей, которым еще далеко до Общего ИИ? они только в некоторых задачах хороши (чаще в качество/стоимость), сейчас это мощный инструмент, с которым нужно очень серьезно работать, что бы хоть что то получить.. с ним лучше всего понимаешь утверждение - 'для того что бы задать вопрос, нужно знать половину ответа'