Анонсируя Pixel 6 в начале августа, Google сосредоточилась на своем первом чипе собственной разработки — System on a Chip (SoC). На сегодняшнем мероприятии Pixel Fall Event Google подробно рассказала о Tensor, назвав его «самой значительной инновацией в мобильном оборудовании за всю историю компании».
Почему Tensor
Заявленная цель Google при создании Tensor — расширить возможности смартфонов. Компания хочет «перенести прорывы в области ИИ непосредственно в Pixel» и реализовать свое видение постоянно доступных технологий, то есть Ambient Computing.
Первая часть этой цели основана на убеждении отдела аппаратного обеспечения Google, что функции на базе ИИ являются способом дифференцировать Pixel от конкурентов, в то время как Google считает телефоны «центральным устройством управления в ambient-системе». На презентации Pixel Launch Event Google снова говорила об Ambient Computing. В последний раз значимое упоминание этой концепции было на запуске Pixel 4 в 2019 году.
В интервью The Verge Рик Остерлох заявил, что работа над чипом началась в 2017 году после осознания того, что Google не может использовать фрагментарный подход — например, добавлять отдельный сопроцессор, такой как Pixel Visual/Neural Core — для улучшения моделей ИИ. Вместо этого необходим весь чип, оптимизированный для желаемых задач.
Чип Tensor специально разработан для предоставления новейших достижений Google в области ИИ непосредственно на мобильном устройстве. Это область, в которой мы были ограничены годами, но теперь мы можем открыть новую главу в инновациях смартфонов на базе ИИ.
ЦПУ + ГПУ Tensor
На мероприятии Pixel Launch Event Google подробно рассказала о Tensor, особо выделив наличие двух высокопроизводительных ядер ARM Cortex-X1 с частотой 2,8 ГГц. К ним присоединяются два «средних» ядра A76 с частотой 2,25 ГГц, при этом интервью Ars Technica с командой Google Silicon указывает, что они основаны на 5-нм техпроцессе, а не на 7-нм, как у флагманских чипов прошлого года. Четыре энергоэффективных/малых ядра A55 дополняют ЦПУ.
Двухъядерный подход X1 позволяет Google направлять больше мощности на задачи средней интенсивности. В обычном ЦПУ такие задачи, как визуальный анализ Google Lens, выполнялись бы средними ядрами, но были бы «перегружены». Google утверждает, что использование двух ядер X1 в таком сценарии будет более эффективным, и именно на это оптимизирован Tensor. На практике это на 80 % быстрее, чем Snapdragon 765G в Pixel 5.
«Вы можете использовать два ядра X1, снизив их частоту, чтобы они были сверхэффективными, но при этом они все равно будут справляться с довольно тяжелой рабочей нагрузкой. Рабочая нагрузка, которую вы обычно выполняли бы на двух ядрах A76 на пределе возможностей, теперь будет едва задействовать ресурсы двух ядер X1».
Фил Кармак, вице-президент и генеральный директор Google Silicon
Также имеется 20-ядерный ГПУ, который, по словам Google, «обеспечивает премиальный игровой опыт для самых популярных игр для Android». Он на 370 % быстрее, чем в Pixel 5, который использует ГПУ Adreno 620.
Безопасность Tensor с Titan M2
Между тем, модуль безопасности Tensor — это подсистема на базе ЦПУ, изолированная от процессора приложений и предназначенная для выполнения конфиденциальных задач и управления. Он работает с выделенным чипом безопасности Titan M2, который не является частью Tensor, но, по утверждению Google, устойчив к продвинутым атакам, таким как электромагнитный анализ, сбои напряжения и инжекция лазерных ошибок.
Оригинальный чип Titan M работает совместно с программным обеспечением, предотвращая откат телефона к старой версии Android, которая может иметь уязвимости безопасности. Он также предотвращает разблокировку загрузчика и проверяет ваш PIN-код экрана блокировки.
TPU, ISP и Context Hub
Конечно, есть и «Tensor Processing Unit». Этот ML-движок, как сообщается, «разработан Google Research для Google Research» и создан с учетом того, «куда движутся ML-модели, а не где они находятся сегодня».
Процессор обработки изображений (ISP) оснащен ускорителем, который выполняет алгоритм HDRNet — ключевую причину, по которой Pixel 6 и Pixel 6 Pro могут использовать Live HDR+ Video в разрешении 4K 60FPS более эффективно.
Context Hub переносит «машинное обучение в область сверхнизкого энергопотребления». Он позволяет постоянно включенному дисплею (AOD), функции Now Playing и другим «ambient-функциям» работать «всегда, не разряжая батарею».
Всё вместе, или гетерогенные вычисления
Все эти компоненты вместе составляют Tensor, причем Google отдает приоритет «общей производительности и эффективности». Это, в частности, включает превосходство в задачах гетерогенных вычислений, требующих совместной работы различных частей SoC. Например, Lens использует ЦПУ, ГПУ, ISP и TPU для эффективной работы.
По мере того как программные приложения на мобильных телефонах становятся все более сложными, они работают на нескольких частях чипа. Это гетерогенные вычисления. Чтобы добиться хорошей производительности для этих сложных приложений, мы приняли системные решения для SoC. Мы позаботились о том, чтобы различные подсистемы внутри Tensor хорошо взаимодействовали, вместо того чтобы оптимизировать отдельные элементы для пиковой скорости.
Что умеет Tensor
Помимо Live HDR+, который делает цвета более точными и яркими при 4K60, Tensor обеспечивает другие функции вычислительной фотографии и видео, такие как Motion Mode в Google Camera. Action Pan размывает фон, а Long Exposure работает с объектом (как показано ниже).
Между тем, распознавание лиц на Pixel 6 стало точнее и работает быстрее — благодаря интегрированным подсистемам, потребляя при этом вдвое меньше энергии по сравнению с Pixel 5.
Assistant на Tensor использует «самую продвинутую модель распознавания речи, когда-либо выпущенную Google», опять же, потребляя вдвое меньше энергии. Высококачественная модель ASR (автоматическое распознавание речи) используется для транскрипции голосовых команд, а также в долго работающих приложениях, таких как Recorder и Live Caption, «не разряжая быстро батарею».
Кроме того, имеется голосовой ввод Assistant для редактирования только что транскрибированного текста полностью без рук, а также Live Translate, качество перевода Pixel улучшилось на 18% — «уровень улучшения, который обычно требует нескольких лет исследований»:
Google Tensor также позволяет Live Translate работать с медиа, такими как видео, используя модели распознавания речи и перевода на устройстве. По сравнению с предыдущими моделями на телефонах Pixel 4, новая модель нейронного машинного перевода (NMT) на устройстве потребляет менее половины энергии при работе на Google Tensor.
Будущее Tensor
Google не присваивает Tensor поколенческое обозначение при запуске, но компания, предположительно, добавит номер к следующей версии. (Например, Titan M сменил Titan M2.)
Нет сомнений в том, что Google производит больше чипов для телефонов (и ходят слухи о других форм-факторах). Вице-президент Рик Остерлох подтвердил это на мероприятии:
Tensor также предоставляет нам аппаратную основу, на которой мы будем строить в течение многих лет, чтобы вы получали личные, полезные функции, которые ожидаете от телефона Google.