Google сегодня подробно рассказал, как теперь можно вносить сложные правки в изображения, например с помощью «Волшебного ластика», в «Фото» с сохранением качества Ultra HDR на Pixel 8+.
Ранее любые действия, кроме обрезки или поворота, всегда создавали новую копию изображения в SDR-качестве. Проблема заключается в том, что метаданные, связанные с Ultra HDR (представленным с Android 14), увеличивают «сложность операций редактирования изображений».
В частности, проблема связана с картой усиления (Gain Map, третье изображение ниже), или «лого-закодированным изображением, хранящимся вместе с SDR-изображением, которое указывает, насколько следует осветлить каждый SDR-пиксель для получения целевого HDR-представления».
Инструменты редактирования на базе машинного обучения, такие как «Волшебный ластик», «Размытие фото», «Волшебный редактор» и «Размытие портрета», были «разработаны для SDR-изображений, с моделями, ожидающими SDR-изображения в качестве входных данных и производящими SDR-изображения в качестве выходных». Google объясняет:
«Используя, например, «Волшебный ластик», вы можете удалить отвлекающий элемент изображения, применяя inpainting для генерации новых пикселей в удаленной области. Для HDR-изображения, если удаленная часть была яркой, то, вероятно, соответствующая область карты усиления также была яркой. Как и в примере с обрезкой, теперь вам придется делать inpainting и для карты усиления. В противном случае вы увидите нежелательный эффект «призрачности» в HDR-представлении — исходная карта усиления будет отображаться как наложение на отредактированное SDR-изображение.
Google Photos решил эту проблему с помощью новой модели машинного обучения, которая реконструирует недостающие области карты усиления, предсказывая новую и затем смешивая ее с оригиналом.
«Мы запечатлели разнообразные фотографии с помощью конвейера серийной съемки HDR+, применяя алгоритмы сжатия динамического диапазона текущей камеры Pixel для создания пар SDR и HDR изображений. Используя эти данные и набор данных случайных форм масок, мы обучили легкую модель преобразования изображения в изображение для предсказания карты усиления на основе отредактированного SDR-изображения и маскированной версии исходной карты усиления. Она даже достаточно гибка, чтобы создавать карту усиления, получая в качестве входных данных только SDR-изображение — оптимизируя представление для HDR-дисплеев».
Основу нашего метода составляет предсказание недостающих после редактирования метаданных HDR-изображения с использованием модели машинного обучения, обученной на большом наборе HDR-изображений с полными метаданными.
Google обучил модель реконструкции на нескольких тысячах HDR-изображений. Она «меньше 1 МБ и работает с интерактивной частотой кадров на мобильных устройствах». Эти правки Ultra HDR в Google Photos теперь доступны на Pixel 8 и более новых устройствах.
Исходное изображение Ultra HDR против изображения после «Волшебного редактора», которое по-прежнему является Ultra HDR
