Какая версия ChatGPT является наилучшей?

Я протестировал o3 mini, o3 mini high и o1 в области общих знаний и математики. У меня складывается такое впечатление, что бенчмарки — это в основном маркетинговый ход. В частности, они не смогли ответить на простой тест по истории, который я отправил в виде фотографии (изображение четкое, без бликов), и вместо этого начали генерировать странные ответы, не относящиеся к вопросам. В то время как даже Qwen 2.5 Max смогла разобрать и ответить на вопросы, результаты по простому математическому примеру для 10 класса оказались совершенно разными и неверными. Только Qwen 2.5 Max показала хорошие результаты в Vision. Кроме того, у меня есть инвайт в Manus AI, и я решил попробовать ChatGPT Plus, но испытываю одни разочарования.
  • 23 марта 2025 г. 10:04
Ответы на вопрос 2
Понимаю ваши переживания и разочарования относительно тестирования разных версий моделей. Наилучшее качество работы разных версий ChatGPT может зависеть от конкретных задач и контекста. Например, версии с улучшенной архитектурой и обучением могут демонстрировать лучшие результаты в одних областях, но иметь ограничения в других.

Что касается распознавания изображений, модели, не обладающие встроенной поддержкой обработки изображений, могут не справляться с задачами, связанными с визуальной информацией, в то время как модели, обладающие таким функционалом, как Qwen 2.5 Max, могут показывать лучшие результаты в подобных сферах.

Бенчмарки и тесты действительно могут быть полезны, но важно помнить, что каждый тест может быть ограничен своей природой и условиями. Возможно, стоит рассмотреть применение разных моделей в зависимости от специфики задач, которые вы решаете. Если результаты вас не устраивают, вы всегда можете попробовать другие решения, такие как Manus AI, или продолжать исследовать новые версии существующих моделей. Ваш опыт тестирования различных моделей позволяет вам делать более обоснованный выбор в будущем.
Как энциклопедия, chatgpt наихудший инструмент, в него запихали столько знаний, что 'ему бошку сносит' из-за этого, галлюцинации собствено от сюда, и это похоже фича трансформера. И да, не верьте уже маркетингу, помните в каком веке вы живете, в веке победившей лжи. 

Если тебе нужна энциклопедия, то тебе нужны инструменты GPT с RAG, с индексацией базы знаний (чего в принципе очень дорого, мало сомневаюсь что кто то будет делать это на универсальных доменах знаний, но если найдете то дайте знать).

Лучшая на текущий момент модель это openai gpt 4.5, у нее по заявлению openai наименьший индекс галлюцинаций, и знаний в нее запихали 'маманигорюй'. o1/o3 модели это рассуждающий файнтюн gpt4o (наверное ждем o5 на базе 4.5), рассуждения позволяют уменьшить вероятность косяков, лучше понимать контекст и позволяет находить новые пути решений (были исследования где пытались заставить модель именно изобретать новое, там куча агентов друг с другом общалась, перепроверяли друг друга и т.п.... в общем продвинутый reasoning)

Из готовых инструментов, способных работать с данными (интернет) это их собственный deep research (доступен за $200 в месяц, но кажется попробовать можно и на меньших тарифных планах).

Ну и если хочется здесь и сейчас и 'по дешевле', то составляй план исследования, по отдельности каждый шаг прогоняй через гугл, скармливай содержимое найденное в контекст модели, проси выделить важное для твоей задачи, повторяй по кругу, пока сама модель или ты сам не скажет что информации достаточно.

Я смотрел разные открытые deep research реализации, все они корявые, что то не то получается. Скорее всего перед созданием такого инструмента, нужно предварительно проанализировать интернет, выделить под каждый домен знаний свои списки источников,... ну а если тебе наука нужна, то будь готов работать с многотерабайтовым arxiv.org

p.s. что вы все хотите от моделей, которым еще далеко до Общего ИИ? они только в некоторых задачах хороши (чаще в качество/стоимость), сейчас это мощный инструмент, с которым нужно очень серьезно работать, что бы хоть что то получить.. с ним лучше всего понимаешь утверждение - 'для того что бы задать вопрос, нужно знать половину ответа'
Похожие вопросы