После анонсов Pixel Google часто подробно рассказывает о ключевых функциях, реализованных благодаря внутренним исследовательским командам. Сегодня в блоге Google AI появилась статья, посвященная астрофотографическим возможностям Pixel 4.
Google «начала исследовать возможности съемки в очень темных условиях на открытом воздухе с целью запечатлеть звезды» после запуска Night Sight в прошлом году. В качестве эталона инженеры компании использовали созвездие Стрельца. Одним из наблюдений стало то, что пользователи не терпят «смазанных звезд, похожих на короткие отрезки линий». Тем не менее, покачивающиеся деревья и плывущие облака допустимы, если изображение в остальном резкое.
Чтобы решить эту проблему, мы разделили экспозицию на кадры с временем выдержки, достаточным для того, чтобы звезды выглядели точками света. При съемке реального ночного неба мы обнаружили, что время экспозиции на кадр не должно превышать 16 секунд.
Еще один человеческий фактор — «немногие готовы ждать фотографию более четырех минут». Это верхний предел для Pixel 4 — до 15 кадров, в то время как Pixel 3 и 3a ограничены одной минутой.
Night Sight приходится учитывать «дополнительные проблемы, уникальные для съемки при слабом освещении», включая темновой ток и горячие пиксели, композицию кадра и автофокус. Одна из претензий к Night Sight заключается в том, что изображения иногда выглядят слишком яркими, что может сбить с толку зрителя относительно времени суток на снимке. Решение Google включает в себя идентификацию и «выборочное затемнение неба на фотографиях сцен со слабым освещением».
Для этого мы используем машинное обучение, чтобы определять, какие области изображения представляют собой небо. Сверточная нейронная сеть на устройстве, обученная на более чем 100 000 изображений, вручную размеченных путем обводки контуров областей неба, определяет каждый пиксель на фотографии как «небо» или «небо».
Этот метод также используется для снижения шума на небе и для «выборочного увеличения контраста, чтобы сделать такие элементы, как облака, цветовые градиенты или Млечный Путь, более выразительными».
Google завершает свой подробный рассказ об астрофотографии на Pixel 4, отмечая, что всегда есть «простор для улучшений» и что может измениться в будущем:
Хотя мы можем снять освещенный луной пейзаж или детали поверхности Луны, чрезвычайно большой диапазон яркости, который может превышать 500 000:1, пока не позволяет нам захватить оба объекта на одном изображении. Кроме того, когда звезды являются единственным источником освещения, мы можем делать четкие снимки неба, но пейзаж виден только как силуэт.