На конференции I/O 2022 Google уделяет на удивление много внимания умному дисплею с Ассистентом, который компания анонсировала три года назад на той же сцене. Функция «Look and Talk» позволит активировать Ассистента, просто взглянув на Nest Hub Max, а «Quick Phrases» предоставит еще один способ не произносить «Hey Google».
Look and Talk для Nest Hub Max
Получившая шутливое кодовое название «Blue Steel» в честь фильма «Образцовый самец» (Zoolander), функция «Look and Talk» была сегодня анонсирована Google для Nest Hub Max.
С расстояния до полутора метров (пять футов) умный дисплей может распознать, что вы смотрите прямо на него, и начать слушать команду без необходимости произносить «Hey Google». Google сравнивает это взаимодействие без ключевой фразы со зрительным контактом с человеком в реальной жизни перед началом разговора.
«Под капотом» шесть моделей машинного обучения обрабатывают более 100 сигналов с камеры и микрофона, включая: приближение, ориентацию головы, направление взгляда, движение губ, контекстную осведомленность и классификацию намерений. Таким образом, Google может определить, «действительно ли вы устанавливаете зрительный контакт с устройством, а не просто бросаете на него мимолетный взгляд».
Вся эта обработка происходит локально на устройстве, и никакое видео не отправляется в облако. Для работы Look and Talk необходимо вручную включить функции Voice Match и Face Match. Технология Real Tone, как и в камере Pixel 6, используется для того, чтобы функция работала «с широким спектром оттенков кожи».
Команда «Hey Google» по-прежнему работает, а касание экрана отменяет Look and Talk. Это дополняет уже существующие возможности камеры Nest Hub Max (6,5 Мп с углом обзора 127 градусов) для быстрых жестов, когда вы можете поднести ладонь к объективу, чтобы приостановить/возобновить воспроизведение медиа, отключить таймеры/будильники и остановить ответы Ассистента.
Функция Look and Talk начинает распространяться для Nest Hub Max для пользователей приложения Google Home на Android «на этой неделе» на английском языке (США). На iOS она станет доступна в середине мая.
Быстрые фразы (Quick Phrases)
Этим летом Google переносит функцию Quick Phrases с серии Pixel 6 на Nest Hub Max на английском языке (США). Для некоторых заранее выбранных команд вам не придется предварительно произносить ключевую фразу «Hey Google». Это предназначено для того, чтобы сделать общение более плавным, и также работает на самом устройстве. Примеры команд включают:
- Установить таймер или будильник
- Спросить, который час
- Включить или выключить свет
- Отменить таймер или будильник
- Сделать свет тусклее или ярче
- Спросить о погоде
Для этого требуется, чтобы была включена функция Voice Match, при этом пользователи должны выбрать, какие фразы/команды должен прослушивать Nest Hub Max.
Естественные диалоги с Ассистентом
Наконец, сегодня Google представила предварительный обзор того, как разговоры с Ассистентом станут более естественными. Ассистент будет, по сути, игнорировать «эээ», прерывания, естественные паузы и другие самоисправления, вместо того чтобы просто реагировать на то, что вы сказали изначально.
Чтобы это стало возможным, мы создаем новые, более мощные речевые и языковые модели, которые могут понимать нюансы человеческой речи — например, когда кто-то делает паузу, но еще не закончил говорить. И мы приближаемся к плавности разговора в реальном времени благодаря чипу Tensor, который специально разработан для сверхбыстрой обработки задач машинного обучения на устройстве.
Google планирует запустить эти модели естественной разговорной речи для Ассистента в начале 2023 года.