С Pixel 3 приложение Google Camera получило ряд функций на базе искусственного интеллекта, таких как Night Sight, Top Shot и Photobooth. Последний, по сути, представляет собой Google Clips, работающий на телефоне, с режимом автоматического обнаружения поцелуев.
Photobooth — это еще один режим, доступный на вкладке «Еще» в Google Camera, который автоматически делает снимки для пользователей. Он использует машинное обучение для определения лучших моментов и их захвата без необходимости вручную нажимать кнопку спуска затвора каждый раз.
Он оптимизирован для двойных фронтальных камер Pixel 3 и ищет одиночные, парные и групповые селфи. Google Camera 6.2 добавляет новое определение поцелуев, которое автоматически сделает снимок, когда поцелуй окажется в кадре. Google объявил об этой новой функции в блоге Google AI, описывая, как она работает и связанные с ней проблемы. Большая часть работы, проделанной для Google Clips, была использована для Pixel 3.
Photobooth использует две бортовые модели для понимания того, что такое хорошее селфи. Первая ищет выражения лиц, а вторая определяет, когда люди целуются.
Мы работали с фотографами, чтобы определить пять ключевых выражений, которые должны инициировать захват: улыбки, высунутый язык, «целующееся» лицо / «утиное» лицо, надутые щеки и удивление. Затем мы обучили нейронную сеть классифицировать эти выражения. Модель обнаружения поцелуев, используемая Photobooth, является вариантом Image Content Model (ICM), обученной для Google Clips, специально настроенной для фокусировки на поцелуях.
Затем различным кадрам присваиваются баллы, при этом «итоговый балл качества изображения, используемый для срабатывания затвора, вычисляется путем взвешенного сочетания основанного на внимании балла выражений лиц и балла поцелуев».
Оценка кадра учитывает как качество выражения лица, так и оценку поцелуя. Поскольку модель обнаружения поцелуев работает со всем кадром, ее вывод может быть использован непосредственно в качестве значения оценки всего кадра для поцелуев. Модель выражений лиц выдает оценку для каждого идентифицированного выражения.
Google Camera 6.2 должна быть широко доступна через Play Store, при этом Photobooth является эксклюзивом для Pixel 3 и Pixel 3 XL.