Google продолжает работу над генерацией изображений по текстовому описанию, представив инструмент «Imagen Editor», который позволяет редактировать изображения (или выполнять их частичное заполнение) с помощью текстовых подсказок. Об этом стало известно сегодня.
…редактирование изображений с помощью текста (TGIE) — это практическая задача, которая включает редактирование сгенерированных и сфотографированных визуальных материалов, а не их полную переработку.
В общих чертах, Imagen Editor позволяет загрузить изображение, выбрать область, которую вы хотите отредактировать/изменить, а затем ввести текстовую подсказку для этой конкретной области. Остальная часть изображения при этом не затрагивается.
Один из примеров демонстрирует выделение тела собаки с последующим запросом на «красный космический скафандр с белой звездой». Справа демо-версия добавляет «ракету из картона», а наиболее впечатляющим является добавление «синих игровых наушников».
Google опубликовала несколько других примеров и сопутствующую исследовательскую работу, но «не планирует выпускать Imagen Editor для широкой публики», ссылаясь на «озабоченность в отношении ответственного ИИ». Также была представлена EditBench — «метод для оценки качества моделей редактирования изображений».
С точки зрения практического применения, Google отмечает, что TGIE может обеспечить «быстрое, автоматизированное и управляемое редактирование [как] удобное решение, когда воссоздание визуальных материалов было бы трудоемким или невозможным (например, изменение объектов на фотографиях из отпуска или совершенствование мелких деталей на милом щенке, сгенерированном с нуля)». Это происходит на фоне того, что Google Фото получает функцию Magic Editor, использующую элементы генеративного ИИ.
В потребительских продуктах Imagen и другие модели Google для генерации изображений по тексту должны сначала стать доступны пользователям в Google Презентациях. Тестирование в Workspace Labs началось недавно, также была анонсирована генерация изображений для пользовательских фонов Google Meet.