Кто сказал, что для управления компьютером нужна игровая мышь? Google’s Project Gameface — это фантастический новый инструмент, который использует движения лица и головы для управления мышью без самой мыши.
Компьютерные игры — это то, что объединяет людей со всего мира. Преимущество в том, что люди могут находить новых друзей и единомышленников по интересам в играх, которыми они могут наслаждаться. Конечно, «обычные» игровые устройства, к которым мы привыкли, не всегда подходят всем, и распространенная проблема заключается в том, что некоторые пользователи не могут использовать клавиатуры и мыши так, как это могло бы показаться естественным.
Чтобы бороться с этим и способствовать более инклюзивным играм, Google разработал новый инструмент, который полагается исключительно на лицо пользователя. Используя обычную веб-камеру без аппаратного обеспечения для распознавания лиц, Project Gameface от Google определяет жесты лица и движения головы, а затем преобразует их в движения курсора на компьютере. Это позволяет пользователю управлять ПК без традиционной мыши.
Новая разработка была создана в партнерстве с Лэнсом Карром, страдающим мышечной дистрофией. Эта болезнь со временем ослабляет мышцы и приводит к невозможности выполнять простые действия. Когда дом Лэнса сгорел, он потерял все оборудование, которое использовал для игр, учитывая его состояние. В новом месте ему понадобилось новое решение, чтобы вернуться к любимому занятию.
Для разработки технологии Google использовал MediaPipe, чтобы создать инструмент, который может определять 468 точек на лице пользователя. С помощью этого набора динамических точек программное обеспечение может обнаруживать и различать как простые жесты лица, так и выразительные движения. Пользовательская часть программы позволяет игроку назначать различные действия для каждого выражения. Например, вы можете назначить левый щелчок на улыбку, а правый щелчок — на поднятую левую бровь. Обнаружение этих жестов можно точно настроить в зависимости от их силы, что позволяет пользователям установить зону комфорта.
Как следует из названия, Project Gameface все еще находится в разработке и имеет потенциал охватить множество пользователей в будущем. На этапе предварительного просмотра разработчики имеют доступ к открытому исходному коду и могут ознакомиться с программным обеспечением уже сейчас. Есть большие надежды, что этот инструмент будет воплощен в жизнь в ближайшем будущем, а также появятся другие связанные проекты.