Google Lens получит крупное обновление MUM, которое позволит фотографировать и задавать вопросы по изображениям

На конференции I/O в мае Google анонсировала Multitask Unified Model (MUM) как большое улучшение поиска. MUM будет интегрирован в Google Lens «в начале следующего года».

После съемки в Lens или анализа существующего изображения/скриншота, свайп вверх продолжит отображать «Визуальные совпадения». В верхней части панели скоро появится новая кнопка «Добавить вопросы», открывающая очень удобный интерфейс. Эти «Похожие запросы» или любой введенный запрос позволяют уточнить поиск.

Сегодня на мероприятии Search On 2021 Google продемонстрировала два примера. Оба предназначены для комбинирования визуального и текстового ввода.

Самый впечатляющий пример — фотография сломанной детали велосипеда с вопросом: «Как это починить». Google правильно определит, что именно нужно исправить и как это сделать, используя видео, результаты форумов и другие справочные статьи в Интернете.

Реклама — прокрутите, чтобы увидеть больше контента

Объединяя изображения и текст в один запрос, мы упрощаем визуальный поиск и позволяем задавать вопросы более естественным образом.

Site default logo image

Другой пример включает в себя съемку изображения стиля — например, на рубашке — и поиск других предметов одежды («носки с таким узором»), которые имеют такой же дизайн.

MUM в Google Lens будет доступен в ближайшие месяцы. Компания активно тестирует и проводит «строгое тестирование и оценку» модели ИИ перед запуском.

Другие анонсы Search On 2021 сегодня включают:

Подробнее о Google Lens: