Add Me — одна из ключевых камерных функций Pixel 9, и сегодня Google опубликовала пост в блоге, объясняющий, как она была разработана. Лично я заметил, что люди не очень активно использовали Add Me до праздничного сезона.
Функция Pixel 9 была впервые предложена внутри команды «Creative Camera» в августе 2022 года.
Согласно отдельному объявлению о вакансии, миссия этой команды заключается в следующем: «представлять и создавать будущее фотографии и видеографии. Наша команда переосмысливает цифровые изображения: от новых алгоритмов для создания максимально качественных изображений и видео на мобильных устройствах до создания совершенно новых способов запечатлеть и пережить наши впечатления».
Они работали над Night Sight, Best Take, Magic Eraser и Magic Editor, причем последние две возможности со временем перестали быть эксклюзивами Pixel и появились в Google Фото. Остальное описание вакансии тоже интересно для прочтения:
У Google амбициозные планы продолжать инновации в этой области — и гарантировать, что камера Pixel остается главным преимуществом Pixel — одновременно расширяя охват нашей работы на другие продукты, такие как Google Фото и экосистема Android.
Google продолжит улучшать качество мобильной и серверной фотосъемки, переосмысливая способы, которыми мы запечатлеваем, обрабатываем и переживаем моменты. Наши исследования имеют потенциал для определения будущего фотографии и содействия дальнейшей демократизации фотографии — помогая всем пользователям запечатлевать важные моменты своей жизни.
Когда впервые было предложено Add Me, за несколько месяцев до презентации Pixel 7, Google заявила, что «разработка уже велась для серии Pixel 8», которая была выпущена в октябре 2023 года и отражает длительный цикл разработки устройств.
Помимо Creative Camera, Add Me стал результатом сотрудничества с основной командой Pixel Camera и подразделением Google XR. Сегодняшний пост описывает последнее следующим образом:
(Команда Google XR работает над Android XR и ARCore — платформами для создания дополненной и виртуальной реальности.)
Google «изучила несколько методов» для выравнивания/кадрирования первого и второго изображений, прежде чем остановиться на дополненной реальности.
…разработка интерфейса, в котором функция AR была самодостаточной — так, чтобы ее могли использовать даже те, кто не знаком с технологией, — была непростой и потребовала значительного количества экспериментов.
Между тем, TPU (тензорный процессор) — в целом — заслуживает признания за то, что сделал возможным использование моделей машинного обучения на устройстве, которые отображают предварительный просмотр AR и, в конечном итоге, объединяют два снимка. Работа на GPU или CPU была бы недостаточно быстрой для Add Me.