По данным Google, Gemini 4 Argon значительно уступает Claude и GPT-6 в программировании для Android

Google обновила список Android Bench, который позволяет оценить, насколько хорошо ИИ-модели справляются с помощью в написании кода для Android. Gemini 4 Argon заметно отстаёт от новейших моделей Claude и GPT.

Android Bench представили в начале этого года, чтобы разработчики Android могли быстро оценить, какие ИИ-модели лучше всего подходят для помощи в написании кода для Android, опираясь на тест Google. При тестировании учитывались особенности применения ИИ, связанные с написанием кода для Android и передовыми практиками разработки под эту платформу. Продолжая тестировать и ранжировать новые модели, Google также включила в бенчмарк их среднюю стоимость, чтобы разработчики могли выбрать наиболее подходящий вариант.

В обновлении от 26 октября Google указала уровень рассуждений, используемый каждой моделью, а также добавила результаты OpenAI GPT-6 Sol и GPT-6.1 Sol, Claude Sonnet 5 и Claude Sonnet 5.5, а также собственной модели Google — Gemini 4 Argon.

Сейчас лидирует Claude Sonnet 5.5: доля пройденных тестов составляет 40%, а доля завершённых — 80,9%. Claude Opus 5.5, добавленная в список в начале октября, занимает второе место.

GPT-6.1 Sol от OpenAI может оказаться самым примечательным дополнением: доля пройденных тестов у модели составляет 29,3%, а доля завершённых — 82,8%. При этом она стоит всего 99,50 доллара против 1 574,90 доллара за Claude, занявшую первое место.

Однако собственная модель Google — Gemini 4 Argon — дебютировала довольно невзрачно: она занимает пятое место, заметно уступая другим передовым моделям. Ей не удаётся обойти Claude Fable 5.1: доля пройденных тестов составляет всего 21,3%, доля завершённых — 81,8%, а средняя стоимость — 267,70 доллара.

В отчёте, опубликованном вскоре после анонса Gemini 4 Argon компанией Google, некоторые сотрудники заявили, что модель «с трудом справляется с некоторыми задачами по написанию кода», хотя Google продолжила отстаивать её возможности.