Android-приложение Google «Look to Speak» использует фронтальную камеру телефона для отслеживания взгляда и преобразования текста в речь

«Look to Speak» — это новое экспериментальное приложение от Google, которое помогает людям с нарушениями речи и моторики общаться с помощью технологии отслеживания взгляда. 

Приложение позволяет пользователям смотреть влево и вправо — относительно телефона, расположенного прямо перед ними — для выбора из списка фраз, которые можно настраивать. Существует две колонки текста, а выбранные фразы затем произносятся вслух. 

Look to Speak использует технологию отслеживания взгляда, которая задействует фронтальную камеру устройств Android. Требуется четкий обзор глаз пользователя, а телефон должен быть надежно закреплен, а не просто держаться в руке. Приложение оснащено помощником по настройке, а также экраном для практики, чтобы начать работу.

Параметры настройки позволяют пользователям задавать расстояние взгляда вне экрана (близкое, среднее и дальнее), а также продолжительность взгляда, необходимую для активации. Для подтверждения каждого выбора доступен звуковой сигнал. Приложение можно приостановить/«перевести в спящий режим» в любое время (посмотрев вверх), чтобы оно не отслеживало ваш взгляд постоянно.

Реклама — прокрутите, чтобы увидеть больше контента

Site default logo image

Этот вспомогательный инструмент является частью проекта «Start with One» на платформе Experiments with Google:

Все началось с идеи, которая могла бы оказать влияние на одного человека и его сообщество. В процессе проектирования мы связались с небольшой группой людей, которым мог бы пригодиться такой инструмент для общения. Поразительно было видеть, как Look To Speak мог работать там, где другие средства коммуникации не могли легко применяться — например, на улице, в транспорте, в душе и в экстренных ситуациях.

Look to Speak доступен сегодня на телефонах с Android 9+ и Android One, а Google опубликовал справочные материалы для помощи в использовании этого инструмента.

Больше экспериментов от Google:

  • Эксперимент «Shared Piano» позволяет создавать музыку с друзьями удаленно
  • Инструмент дополненной реальности «Sodar» использует камеру для соблюдения социальной дистанции
  • Эксперимент Google «smart braid» использует кабель для наушников для управления музыкой