Ранее в этом году Google Research представил свою работу над RawNeRF под названием «NeRF в темноте: синтез изображений с высоким динамическим диапазоном из зашумленных необработанных изображений» на конференции CVPR ( Компьютерное зрение и распознавание образов) 2022 года.
Нейронное поле излучения (или NeRF) — это нейронная сеть, которая может брать 2D-изображения и создавать 3D-сцену. Google создал модель под названием RawNeRF для темных сцен — изначально представленную в июне (спасибо TechCrunch) — которая объединяет «изображения, сделанные с разных точек зрения камеры, для совместного шумоподавления и реконструкции сцены».
RawNeRF, который использует необработанные изображения (RAW), очень хорошо справляется с удалением шума. В первом примере ниже применение метода Google позволяет очистить изображение от шума настолько, что выделенная вывеска становится разборчивой.
По сравнению с другими NeRF, RawNeRF от Google может «восстанавливать гораздо более точные цвета и детали во всей сцене». Точность приближается к телевизионному клише, когда персонажи требуют улучшить изображение, а компьютер выдает невероятно (и неправдоподобно) высокое разрешение.
Тем временем Google спешит отметить, что RawNeRF — это больше, чем просто шумоподавитель, и он «может изменять положение камеры для просмотра сцены под разными углами», а также изменять экспозицию, тональность и фокус (в частности, «синтезировать искусственный эффект боке с точной глубиной резкости»).
Шестиминутное видео Google дает хорошее представление о RawNeRF, а также доступны научная статья, данные и код. Эта работа находится на стадии исследования, и нет уверенности, будет ли она когда-либо использована в продукте. Практически говоря, пользователям пришлось бы включить захват RAW, который занимает больше места, и сделать несколько снимков. С другой стороны, Google Фото предлагает кинематографические фото для имитации 3D-движения, которое могло произойти перед съемкой статичного изображения.
Слева: Оригинал | Справа: RawNeRF
Больше о исследованиях Google:
- Google исследует скрытые дисплеи и интерфейсы для Ambient Computing
- Генератор изображений Google Imagen по текстовому описанию демонстрирует «беспрецедентный фотореализм» [Галерея]
- Parti — другой генератор изображений Google по текстовому описанию, который может «точно отражать знание мира» [Галерея]