Google представила Lyra — новую технологию, которая позволяет Duo, а вскоре и другим приложениям, обеспечивать естественное звучание голоса при скорости сети всего 3 килобайта в секунду.
Обновление: Google сделал Lyra общедоступным для использования другими приложениями.
Поскольку многие из нас по-прежнему не могут посещать близких, приложения для видеозвонков играют ключевую роль в поддержании связи друг с другом. Только в прошлом году Google Duo и Meet провели более 1 триллиона минут видеосвязи. Однако это также оказало огромное давление на интернет-инфраструктуру по всему миру, и большинство методов видеозвонков полностью исключают всех, у кого низкоскоростное подключение к Интернету.
Чтобы помочь в этом, Google разработал новый аудиокодек под названием Lyra, который специально оптимизирован для обеспечения узнаваемой, понятной и естественно звучащей человеческой речи в максимально сжатом виде. Как поясняется в Google AI Blog, это было сделано с помощью модели машинного обучения, которая была обучена на «тысячах часов аудио с участием говорящих на более чем 70 языках», чтобы гарантировать, что Lyra может использоваться как можно большим количеством людей. Что еще более важно, Lyra достаточно эффективна, чтобы работать на чем угодно — от высокопроизводительного облачного сервера до среднебюджетного смартфона с задержкой всего 90 мс.
Как видно — или, скорее, слышно — из видео выше, Lyra предлагает аудио, которое, хотя и заметно ниже по качеству, чем обычная запись, но отчетливо узнается как голос говорящего, при этом используя невероятно мало данных. В Google AI Blog есть еще несколько примеров речи в Lyra по сравнению с другими аудиокодеками с низкой пропускной способностью.
Lyra скоро будет впервые использоваться в реальных условиях, поскольку она уже развертывается для Google Duo на Android, где кодек будет использоваться для звонков, совершаемых при низкоскоростных соединениях. Google особо отмечает коммутируемые соединения и сельские районы Индии и Бразилии, где доступно только сетевое подключение 2G. После этого Google планирует выпустить Lyra в открытый доступ, позволяя другим компаниям предлагать низкоскоростное аудио Lyra в своих приложениях.
Обновление 04.06: Чуть более чем через месяц после первого анонса Google сдержал свое обещание и сделал Lyra полностью открытой. На данный момент этот первый бета-релиз кодека Lyra оптимизирован только для использования разработчиками Android на машинах под управлением Linux, но этого должно хватить, чтобы разработчики начали работать, а затем перенесли его на все намеченные платформы.
Сегодня мы выпускаем Lyra в бета-версии, потому что хотели как можно скорее дать возможность разработчикам и получить отзывы. В результате мы ожидаем, что API и битовый поток будут меняться по мере разработки. Весь код для запуска Lyra находится в открытом доступе под лицензией Apache, за исключением математического ядра, для которого предоставляется общая библиотека, пока мы не сможем реализовать полностью открытое решение для большего числа платформ. Мы с нетерпением ждем, что люди сделают с Lyra теперь, когда она стала общедоступной. Ознакомьтесь с кодом и демо на GitHub, дайте нам знать, что вы думаете, и как вы планируете его использовать!