Pixel Night Sight: улучшение дневной съемки, обработка движения, насколько темно – слишком темно, и другое

Камера телефонов Google Pixel поистине невероятна, и с каждым новым выпуском она становится все лучше. На этой неделе Google выпустила настоящую магию для своих телефонов — Pixel Night Sight, и результаты просто потрясающие. Давайте подробнее рассмотрим некоторые детали Night Sight, о которых вы, возможно, не знали.

Pixel Night Sight также может улучшать дневную фотографию

Night Sight, по понятным причинам, лучше всего работает в темноте. Если вы сделаете снимок днем, скорее всего, вы не заметите никакой разницы в освещении. Однако интересно отметить, что Night Sight все же может улучшить снимок за счет детализации.

В образце фотографии, сделанной сотрудником Google ниже, компания подробно описывает, как Night Sight может улучшить детализацию обычной дневной фотографии, а также улучшить шумоподавление.

Реклама — прокрутите для продолжения

Если вы используете Night Sight днем и готовы держать телефон неподвижно после нажатия кнопки спуска затвора, вы получите улучшения в шумоподавлении и разрешении, как в Super Res Zoom, что показано на этом снимке пейзажа в округе Марин, Калифорния.

Night Sight позволяет снимать звезды

Насколько бы хорошей ни стала производительность при слабом освещении на смартфонах, даже с Pixel от Google, вы все равно столкнетесь с трудностями при съемке звездного неба. Даже когда вы вручную держите Pixel, Night Sight уже может запечатлеть больше звездного неба, чем вы могли бы получить с настройками по умолчанию, но когда вы добавляете штатив, Google может снимать звезды еще лучше.

(Слева) Кадрирование снимка звездного неба, сделанного с рук в режиме Night Sight (изображение в полном разрешении здесь). Была небольшая дрожь, поэтому Night Sight выбрал 333 мс x 15 кадров = 5,0 секунд экспозиции. (Справа) Снимок со штатива (изображение в полном разрешении здесь). Дрожь не была обнаружена, поэтому Night Sight использовал 1,0 секунды x 6 кадров = 6,0 секунд. Небо чище (меньше шума), и видно больше звезд.

Как обрабатывается движение?

Один из основных компонентов работы Night Sight — использование длинной выдержки. При съемке в этом режиме движение, как правило, является табу, поскольку объект всегда получается размытым. Однако Google разработал Pixel Night Sight, чтобы учитывать естественные движения руки, а также движение в кадре, чтобы гарантировать, что снимки остаются максимально резкими. Невозможно учесть все движения, но функция достаточно умна, чтобы корректировать настройки при обнаружении движения для лучшего конечного результата. Пример этого можно найти ниже.

Чтобы бороться с размытием от движения, которое OIS не может исправить, стандартный режим съемки Pixel 3 использует «измерение движения», которое включает в себя использование оптического потока для измерения недавнего движения сцены и выбора времени экспозиции, которое минимизирует это размытие. Pixel 1 и 2 не используют измерение движения в своем стандартном режиме, но все три телефона используют эту технику в режиме Night Sight, увеличивая время экспозиции каждого кадра до 333 мс, если движения немного.

Если камера стабилизирована (например, прижата к стене или используется штатив), экспозиция каждого кадра увеличивается до одной секунды. В дополнение к изменению экспозиции каждого кадра, мы также меняем количество снимаемых кадров: 6, если телефон на штативе, и до 15, если он на руках. Эти ограничения по количеству кадров предотвращают утомление пользователя (и необходимость в кнопке отмены). Таким образом, в зависимости от того, какой у вас телефон Pixel, выбора камеры, дрожания рук, движения сцены и яркости сцены, Night Sight делает 15 кадров по 1/15 секунды (или меньше) каждый, или 6 кадров по 1 секунде каждый, или что-то среднее.

В центре: снимок Night Sight с отключенным измерением движения, из-за чего телефон использовал экспозицию 73 мс. Справа: снимок Night Sight с включенным измерением движения, благодаря чему телефон обнаружил движение и использовал более короткую экспозицию 48 мс.

Насколько темно – слишком темно?

Pixel Night Sight творит настоящие чудеса, но не во всех ситуациях он может сделать снимок. В определенный момент Night Sight просто не хватает света, чтобы сделать снимок или даже сфокусироваться на объекте. Google сообщает, что при яркости ниже 0,3 люкс автофокус перестает работать. Чтобы решить эту проблему, Night Sight фактически включает ручные переключатели фокусировки «Близко» (4 фута) и «Далеко» (12 футов) для таких темных ситуаций. Это не идеально, но должно помочь сохранить фокус.

Кнопки фокусировки доступны только на устройствах Pixel 3

Ниже 0,3 люкс автофокус начинает сбоить. Если вы не можете найти свои ключи на полу, ваш смартфон тоже не сможет сфокусироваться. Чтобы устранить это ограничение, мы добавили две кнопки ручной фокусировки в Night Sight на Pixel 3 – кнопка «Близко» фокусируется на расстоянии около 4 футов, а кнопка «Далеко» фокусируется на расстоянии около 12 футов. Последняя является гиперфокальным расстоянием нашего объектива, что означает, что все от половины этого расстояния (6 футов) до бесконечности должно быть в фокусе.

Несмотря на сбой автофокуса, 0,3 люкс все же достаточно для съемки. Однако в конце концов Night Sight просто не может уловить достаточно света. Вы можете поэкспериментировать с этим сами, но, как правило, если ваши собственные глаза ничего не видят, Night Sight тоже не сможет. По мере того, как становится темнее, количество шума на фотографии экспоненциально растет. Google хорошо резюмирует проблему: «Съемка с ультрадлинной выдержкой — это сложно».

Как далеко мы можем зайти? В конечном итоге достигается уровень света, при котором собственное шумение (read noise) преобладает над количеством фотонов, собранных пикселем. Существуют и другие источники шума, включая темновой ток, который увеличивается с временем экспозиции и зависит от температуры. Чтобы избежать этого, биологи знают, что нужно охлаждать свои камеры значительно ниже нуля (по Фаренгейту) при съемке слабо флуоресцирующих образцов — чего мы не рекомендуем делать с вашим телефоном Pixel! Также очень шумные изображения трудно надежно выравнивать. Даже если бы вы могли решить все эти проблемы, ветер дует, деревья раскачиваются, а звезды и облака движутся. Съемка с ультрадлинной выдержкой — это сложно.

В чем разница с Pixel Night Sight на старых устройствах?

Pixel Night Sight доступен не только на устройствах линейки Pixel 3. Поскольку функция в основном зависит от программного обеспечения, она также доступна на оригинальных Pixel и Pixel XL 2016 года, а также на Pixel 2 и Pixel 2 XL. Все работает очень похоже, но есть некоторые отличия в том, как это работает.

Например, оригинальный Pixel не имеет OIS, поэтому у Google меньше инструментов для учета дрожания рук. Балансир белого также лучше оптимизирован на Pixel 3, поэтому цвета на старых телефонах могут выглядеть иначе.

Night Sight лучше всего работает на Pixel 3. Мы также добавили его на Pixel 2 и оригинальный Pixel, хотя на последнем мы используем более короткие выдержки, потому что у него нет оптической стабилизации изображения (OIS). Кроме того, наш балансировщик белого на основе машинного обучения обучен для Pixel 3, поэтому он будет менее точным на старых телефонах. Кстати, мы осветляем видоискатель в Night Sight, чтобы помочь вам кадрировать снимки при слабом освещении, но видоискатель основан на экспозиции 1/15 секунды, поэтому он будет шумным и не является точным отражением окончательной фотографии. Так что рискните — кадрируйте снимок и нажмите кнопку спуска затвора. Вы часто будете удивлены!

Больше о Pixel Night Sight:


Смотрите 9to5Google на YouTube для получения дополнительных новостей: