Одно из множества преимуществ встроенного машинного обучения Tensor — возможность Pixel 6 «Live Translate» (Живой Перевод) входящих сообщений, текста в видоискателе камеры и транскрибированного аудио — даже в автономном режиме.
За годы своего существования Google Переводчик steadily gained a reputation for aiding communication across languages, even being integrated into services like Twitter and YouTube. Во многих случаях для использования Google Переводчика требуется подключение к Интернету, но приложение для Android позволяет загружать определенные языки для автономного перевода.
Благодаря возможностям машинного обучения чипа Tensor серии Pixel 6, Google представляет набор функций под названием «Live Translate», которые могут работать с использованием загруженных языковых моделей. Помимо обеспечения доступности перевода в автономном режиме, выполнение переводов непосредственно на вашем устройстве также предоставляет больше возможностей для обеспечения конфиденциальности.
Более того, Live Translate интегрирован там, где он нужен больше всего. Например, вместо того, чтобы переключаться между приложениями для поддержания разговора, Live Translate может — в поддерживаемых приложениях, таких как Google Сообщения, WhatsApp, Line и других — отображать переведенную версию вашего разговора непосредственно в приложении, точно так же, как Google Переводчик делает это для веб-страниц. Получив несколько сообщений на поддерживаемом языке, Live Translate предложит переключиться на отображение вашего предпочтительного языка, а Gboard сможет перевести ваше сообщение на язык вашего собеседника.
Или, если вы пытаетесь смотреть видео на другом языке, Live Translate может работать в сочетании с функцией Live Caption серии Pixel для транскрибирования аудио, воспроизводимого на вашем телефоне, а затем переводить его на ваш язык. Тем не менее, на данный момент эти субтитры поддерживают лишь несколько языков, таких как английский, японский и немецкий.
Тем временем Google также использует дебют Live Translate на Pixel 6 как возможность выделить и улучшить некоторые из своих существующих переводческих возможностей. Функция Google Lens, встроенная в приложение Камера Pixel, способна считывать текст на других языках, переводить его и помещать обратно в видоискатель с использованием дополненной реальности — функция, которая теперь может работать в автономном режиме с 55 языками и 104 языками онлайн.
Аналогичным образом, «Режим переводчика» Google Ассистента, который озвучивает перевод активных разговоров между участниками на двух языках, получает возможность работать в автономном режиме с использованием модели на устройстве. На данный момент в автономном режиме поддерживается только перевод между английским, немецким и японским языками, тогда как онлайн поддерживается 48 языков.