| 8 июля 2026 г. — 9:00 PT
Google меняет методику тестирования ИИ-моделей для разработки под Android после появления новых рейтингов, в которых лидирует Fable 5.
Ранее в этом году компания Google представила систему «Android Bench» — удобный инструмент для оценки лучших ИИ-моделей. Этот рейтинг основан исключительно на способности моделей писать код для Android. Хотя это не универсальная система оценки, она крайне полезна для разработчиков.
Как сообщает Google, в процесс ранжирования ИИ-моделей для Android-разработки вносятся изменения. Базовая система бенчмаркинга переходит на стандартизированный фреймворк Harbor. Ранее такие модели, как GPT-5.5, Claude Opus 4.7 и Gemini 3.1 Pro Preview, оценивались с помощью инструмента mini-swe-agent v1, предназначенного для общих задач.
Переход на фреймворк Harbor позволит Android-разработчикам использовать те же инструменты для анализа ИИ-моделей применительно к своим конкретным задачам. Более того, Google открывает доступ к Android Bench для пользователей, готовых предлагать задачи по разработке под Android. Они будут использоваться для оценки того, как модели справляются с конкретными сценариями. Разработчиков также приглашают делиться результатами собственных бенчмарков.
С самого начала мы ценили открытый и прозрачный подход, поэтому сделали нашу первоначальную методологию и тестовую среду общедоступными на
GitHub. Вы просили предоставить возможность оставлять отзывы о нашем наборе данных, и теперь мы делаем шаг навстречу сотрудничеству, давая вам, сообществу Android-разработчиков, шанс повлиять на развитие Android Bench.
В Android Bench добавлена модель Claude Fable 5
В дополнение к новому подходу Google обновила список Android Bench, используя новый фреймворк для оценки ИИ-моделей. Каждая модель — как с закрытыми, так и с открытыми весами — была переоценена на новом тестовом стенде.
Неудивительно, что Claude Fable 5 возглавила список с заметным отрывом. Google присвоила ей 84,5 балла, что на 4 балла больше, чем у GPT-5.5 (80,2 балла). Claude Sonnet 5 отстает от Fable 5 почти на 10 баллов. Заявления Anthropic о мощности модели кажутся обоснованными, однако стоит отметить, что на использование Fable 5 все еще наложены серьезные ограничения.
Большинство ИИ-моделей, участвовавших в предыдущих рейтингах Android Bench, получили новые оценки, поскольку правила игры существенно изменились. Вот как выглядит новый рейтинг Android Bench:
| Модель | Оценка | Средняя задержка | Средняя стоимость |
|---|---|---|---|
| Claude Fable 5 | 84.5 | 8.0 | $133.2 |
| GPT 5.5 | 80.2 | 15.7 | $138.3 |
| Claude Sonnet 5 | 76.2 | 12.3 | $99.9 |
| GPT 5.4 | 74.1 | 8.4 | $83.4 |
| Gemini 3.1 Pro Preview | 73.7 | 10.6 | $87.4 |
| Claude Opus 4.8 | 72.4 | 6.7 | $88.0 |
| GLM 5.2 | 72.2 | 38.9 | $117.0 |
| Gemini 3.5 Flash | 71.1 | 28.3 | $165.6 |
| Kimi K2.7 Code | 70.4 | 31.8 | $48.1 |