Один из самых впечатляющих трюков камеры, которые Google представила на прошлой неделе с Pixel 3, — это Super Res Zoom. Команда Google AI, стоящая за этой функцией, сегодня подробно рассказала о технических аспектах и о том, как Google хочет бросить вызов идее, что цифровой зум — это «гадкий утенок мобильных камер».
В двух словах, Super Res Zoom работает путем объединения нескольких кадров для формирования изображения с более высоким разрешением, а не путем увеличения масштаба одного кадра. Это приводит к улучшенным деталям, которые «примерно сопоставимы с 2-кратным оптическим зумом на многих других смартфонах».
Super Res Zoom означает, что если вы увеличите масштаб, проведя пальцем по экрану, перед нажатием кнопки спуска затвора, вы получите гораздо больше деталей на снимке, чем если вы обрежете его позже.
Цель Pixel 3 — захватить больше деталей при увеличении объекта. Апскейлеры изображений на основе машинного обучения, такие как RAISR от Google, могут увеличивать прямые края и определенные текстуры, но «не могут восстановить естественные детали высокого разрешения».
Чтобы преодолеть этот недостаток деталей, включая отсутствующие цвета, Google снова обратилась к захвату нескольких кадров, как и в случае с HDR+. Используемый в других областях, таких как астрономия, «дребезг» в основном ограничивался контролируемыми условиями «где датчик и объект были выровнены, а движение между ними либо намеренно контролировалось, либо строго ограничивалось».
Уже более десяти лет известно, в том числе в астрономии, где основной концепцией является «дребезг», что захват и объединение нескольких изображений, сделанных с немного разных позиций, может обеспечить разрешение, эквивалентное оптическому зуму, по крайней мере, при небольших увеличениях, таких как 2x или 3x, и при хорошем освещении. В этом процессе, называемом мульти-кадровым супер-разрешением, основная идея состоит в выравнивании и объединении низкоразрешенных серий непосредственно в сетку желаемого (более высокого) разрешения.
Однако Google использует этот недостаток стабильности и даже применяет оптическую стабилизацию изображения (OIS) в обратном направлении для перемещения камеры между кадрами, если Pixel 3 неподвижно стоит на штативе.
Чтобы использовать дрожание рук, мы сначала должны выровнять изображения в серии. Мы выбираем одно изображение в серии в качестве «базового» или эталонного кадра и выравниваем каждый другой кадр относительно него.
Google пришлось преодолеть ряд других особенностей, и в своем блоге команда предоставила подробное объяснение. Команда также предлагает список советов о том, как получить максимальную отдачу от Super Res Zoom:
- Используйте pinch-to-zoom или кнопку +, чтобы увеличить масштаб дискретными шагами.
- Дважды коснитесь предварительного просмотра, чтобы быстро переключаться между увеличенным и уменьшенным видом.
- Super Res работает хорошо при всех факторах увеличения, хотя из соображений производительности он активируется только выше 1,2x. Это примерно на полпути между отсутствием зума и первым «кликом» в пользовательском интерфейсе зума.
- Существуют фундаментальные ограничения оптического разрешения широкоугольной камеры. Поэтому, чтобы получить максимальную отдачу от любого зума, сохраняйте коэффициент увеличения умеренным.
- Избегайте быстро движущихся объектов. Super Res Zoom захватит их правильно, но вы, скорее всего, не получите увеличенного разрешения.
Посетите 9to5Google на YouTube, чтобы узнать больше новостей: