Почему в Pixel 6 не будет разблокировки по лицу, и как она может работать в Pixel 6 Pro

В отличие от предыдущей реализации в серии Pixel 4, у Google нет традиционного специализированного оборудования для разблокировки по лицу в Pixel 6 Pro, которую, как мы сообщали на прошлой неделе, изначально планировалось запустить на старте продаж. Вместо этого, вот как она может работать.

В Pixel 4 (и в системе Face ID от Apple) разблокировка по лицу начинается с ИК-осветителя, который направляет на вас инфракрасный свет. Затем проектор точек проецирует тысячи мелких точек на ваше лицо. ИК-камера (или камеры) захватывает это изображение и сравнивает его с моделью лица, сохраненной в процессе настройки.

Если посмотреть на текущее поколение телефонов Pixel от Google, фронтальная камера в 6 Pro имеет большее количество мегапикселей (11,1 против 8 Мп), больший угол обзора (94 против 84 градусов), большую диафрагму (ƒ/2,2 против ƒ/2,0) и больший размер пикселя (1,22 против 1,12 мкм) по сравнению с обычным Pixel 6. Однако самое важное различие заключается в том, что сенсор Sony IMX663, установленный в более крупном телефоне Google, поддерживает систему двухпиксельного автофокуса (DPAF), в то время как IMX355 в меньшей модели — нет.

Источник: iFixit (1, 2)

Интересно, что на странице характеристик Pixel 6 Pro не упоминается двухпиксельная технология для фронтальной камеры, но мы знаем о ее наличии благодаря тому, что Asus использует IMX663 в Zenfone 8.

Google использует DPAF со времен Pixel 2 для создания карт глубины для портретного режима с помощью всего одного объектива, включая фронтальную камеру. В своем блоге в 2017 году Google объяснила:

Если представить, что (крошечный) объектив задней камеры телефона разделен на две половины, то вид мира через левую сторону объектива и вид через правую сторону будут немного отличаться. Эти две точки обзора находятся на расстоянии менее 1 мм друг от друга (примерно диаметр объектива), но они достаточно различны, чтобы можно было рассчитать стереопару и создать карту глубины. 

Год спустя в Pixel 3 Google еще больше усовершенствовала оценку глубины, генерируемую DPAF, с помощью машинного обучения. (В 2019 году в Pixel 4 портретный режим был дополнительно улучшен за счет использования двухпиксельной технологии и двойных задних камер.)

Карта глубины, сгенерированная DPAF, была бы полезна для захвата контуров вашего лица, в то время как у Google — благодаря работе над ARCore — также есть алгоритмы определения глубины по движению, для которых требуется всего одна RGB-камера: 

Карта глубины создается путем съемки нескольких изображений с разных углов и их сравнения по мере движения телефона для оценки расстояния до каждого пикселя.

Между тем, у Google есть чип Tensor для более быстрой обработки задач машинного обучения, и ранее компания заявляла, что этот чип позволяет (в фотографии) быстрее и точнее распознавать лица, потребляя при этом меньше энергии.

Эти компоненты могут стать основой для того, как Google сможет реализовать разблокировку по лицу в Pixel 6 Pro, используя навыки, которые компания оттачивала годами в области вычислительной фотографии и машинного обучения.

Больше о Pixel 6:

Благодарим информатора