Gemini 4 Carbon немного уступает Claude в бенчмарке, но выигрывает по соотношению цены и качества
Новая флагманская модель Google, Gemini 4 Carbon, приносит долгожданные улучшения, и хотя она не возглавила рейтинг в новом бенчмарке, она предлагает гораздо больше возможностей за те же деньги.
Компания SemiAnalysis, занимающаяся исследованиями и аналитикой в сфере ИИ, недавно опубликовала свой новый бенчмарк для передовых моделей GDPx, в который вошли и результаты модели Google Gemini 4 Carbon. В рейтинг включены все крупные передовые модели от OpenAI, Anthropic, Meta и других компаний, а для каждой из них указаны как оценка, так и стоимость.
Бенчмарк включает 206 задач из области финансов, материаловедения, кибербезопасности, разработки ПО, юриспруденции, биологии и ряда других доменов (тем).
Первое место заняла Claude Opus 5.5 от Anthropic, но Gemini 4 Carbon от Google отстаёт совсем немного. Разница между ними относительно невелика, а главным фактором здесь оказывается стоимость. Если у Claude она составила около 51 доллара за задачу, то у Gemini — чуть более 16 долларов. Gemini также обошла следующую модель в списке, GPT-6 Astra, которая набрала меньше баллов, но обошлась дороже обеих — примерно 54 доллара за задачу.
В отчёте отмечается, что если исключить домены кибербезопасности, биологии и согласования (alignment), результаты меняются. Из-за защитных ограничений в моделях Claude и GPT во главе списка оказывается GPT-6 Astra, а GPT 6.1 Sol и Claude Sonnet 5.5 опережают Gemini 4 Carbon. По словам SemiAnalysis, это лучше соответствует их «субъективным впечатлениям» от каждой модели.
Что касается нынешней флагманской модели Google, Gemini 4 Argon, она занимает восьмое место в обоих списках, опережая Muse Wonder от Meta, но уступая Wonder Full. Стоимость Argon в этом бенчмарке лишь немного ниже, чем у Carbon.
Обе модели Google показывают лучшие результаты в кибербезопасности, чем модели OpenAI и Anthropic, но уступают моделям Muse от Meta, которые, согласно результатам бенчмарка, оказались лучшими «со значительным отрывом».
Google анонсировала Gemini 4 Carbon 28 октября, заявив о «значительном приросте», однако дата публичного релиза пока не подтверждена. Для большинства клиентов модель появится «в ближайшее время». Согласно собственному бенчмарку Google, приведённому ниже, модель по многим параметрам превзошла GPT-6 Astra и Opus 5.5.
