В марте 2021 года Google начал использовать федеративное обучение на Android для повышения точности распознавания кодовой фразы «Hey Google». Грядущая функция «Персонализированное распознавание речи» призвана помочь Google Ассистенту «лучше распознавать часто используемые вами слова и имена».
Об APK Insight: В этой статье из серии «APK Insight» мы декомпилировали последнюю версию приложения, загруженного Google в Play Store. Когда мы декомпилируем эти файлы (APK для приложений Android), мы можем видеть различные строки кода, которые намекают на возможные будущие функции. Имейте в виду, что Google может как выпустить, так и не выпустить эти функции, и наша интерпретация их назначения может быть несовершенной. Однако мы постараемся активировать те из них, что близки к завершению, чтобы показать вам, как они будут выглядеть в случае выхода. С учётом этого, читайте дальше.
Согласно строкам кода в последних версиях приложения Google для Android, функция «Персонализированное распознавание речи» появится в настройках Google Ассистента со следующим описанием:
Храните аудиозаписи на этом устройстве, чтобы помочь Google Ассистенту лучше распознавать то, что вы говорите. Аудиоданные остаются на этом устройстве и могут быть удалены в любое время путем отключения персонализированного распознавания речи. Подробнее
Ссылка «Подробнее», вероятно, будет вести на существующую статью поддержки об использовании Google федеративного обучения для улучшения активации кодовой фразы, где аналогичным образом используются «голосовые записи, хранящиеся на устройствах пользователей, для доработки моделей, таких как распознавание «Hey Google»:
Система учится настраивать модель на основе голосовых данных и отправляет сводку изменений модели на серверы Google. Эти сводки агрегируются по многим пользователям, чтобы предоставить лучшую модель для всех.
Предстоящая функция, похоже, расширит эти улучшения на основе машинного обучения за пределы «Hey Google» на ваши фактические команды Ассистенту, особенно те, что содержат имена (например, отправка сообщений контактам с помощью голоса) и часто произносимые слова. Аудиозаписи прошлых высказываний будут храниться на устройстве и анализироваться для повышения точности транскрипции в будущем.
На таких устройствах, как Nest Hub 2-го поколения и Mini, Google уже использует чип машинного обучения, который локально обрабатывает ваши самые частые запросы «для значительно более быстрого времени отклика». Возможно, теперь эта концепция будет расширена за пределы устройств умного дома на Android.
Учитывая позицию Google в отношении Ассистента и конфиденциальности голосовых данных, это, скорее всего, будет функция, требующая явного согласия пользователя, как сегодня работает опция «Помочь улучшить Ассистент» в настройках Ассистента. Судя по доступному на сегодня описанию, «аудиоданные остаются на этом устройстве» и удаляются при отключении функции. При этом, когда вы отключаете персонализированное распознавание речи, Google предупреждает:
Если вы отключите эту функцию, ваш Ассистент будет менее точно распознавать имена и другие слова, которые вы часто произносите. Все аудиоданные, использовавшиеся для улучшения распознавания речи, будут удалены с этого устройства.
Пока неясно, когда эта функция будет запущена и насколько значительным будет улучшение. Это происходит на фоне того, как Google на конференции I/O 2022 продемонстрировал, как разговоры с Ассистентом в следующем году станут более естественными. Ассистент будет по сути игнорировать — и даже устно подтверждать — «эм-м-м», прерывания, естественные паузы и другие самоисправления. Это контрастирует с сегодняшним поведением Ассистента, который воспринимает сказанное дословно и выдает ответ.
Больше о Google Ассистенте:
- Ассистент становится доступен на Samsung Galaxy Watch 4 через Play Store [Обновление: Запущено]
- Google Ассистент теперь может проверять вашу статистику в Fitbit и Google Fit
- На Nest Hub Max появляется функция ‘Look and Talk’ для Google Ассистента – вот как её включить
- Ассистент в Chrome на базе Duplex теперь может автоматически менять украденные пароли
Благодарим JEB Decompiler, с помощью которого готовятся некоторые разборы в рубрике APK Insight.
Над этой статьёй работали Дилан Руссель и Кайл Брэдшоу.