Гарнитуры смешанной реальности не новы. Мой личный интерес к ним закончился покупкой Apple Vision Pro в начале этого года. Поработав около 30 минут с Project Moohan от Samsung на базе Android XR на прошлой неделе, я могу сказать, что Google удалось освоить все основные моменты. Однако Android XR получает настоящее преимущество благодаря Gemini, объединяя почти десятилетние усилия Google в едином, интегрированном формате.
Оборудование
Во время презентации Google не разрешил нам фотографировать оборудование, но оно уже доступно некоторым партнерам с ранним доступом, а на этой неделе его получат больше разработчиков после личного мероприятия. Это почти финальная версия оборудования, которая поступит к потребителям в 2025 году.
Moohan, изготовленная преимущественно из пластика и работающая на Qualcomm Snapdragon XR2+ Gen 2, значительно легче Vision Pro, которая по сравнению с ней кажется переусложненной. По умолчанию отсутствует световой уплотнитель для области под глазами, позволяющий видеть часть реального мира. Однако имеется магнитное крепление, и именно так я ее тестировал. Регулятор сзади позволяет отрегулировать посадку.
Есть внешний аккумулятор, с проводом, идущим от гарнитуры и подключающимся к блоку через USB-C. Вы не будете ограничены входящим в комплект блоком.
Конечная цель — легкое, эргономичное оборудование, и Samsung этого добилась.
Project Moohan имеет сенсорную панель на правой стороне. Вы касаетесь ее, чтобы открыть наложение пользовательского интерфейса, которое объединяет время, строку быстрых настроек (для открытия меню недавних приложений на основе сетки) и сетку запуска приложений.
Вы сводите большой и указательный пальцы вместе — это называется «щипок» — чтобы нажать. От вашей руки тянется «луч» для наведения, а также функция «щипок для масштабирования». Эти жесты Android XR довольно просты и работают хорошо.
Также стоит отметить отслеживание взгляда, которое позволяет вам смотреть на объект, а не наводить рукой. Это прекрасно работает в сочетании с щипком.
Программное обеспечение
Затем идет Gemini (точнее, Project Astra на базе Gemini 2.0), который активируется из быстрых настроек, с появлением пиктограммы над линией вашего взгляда при активации. В этом режиме Gemini слушает ваши команды и знает, на что вы смотрите на виртуальном экране, а также в реальном мире через фронтальные камеры.
Если вы смотрите видео и видите что-то интересное, вы можете просто спросить Gemini. Это включает переводы, информацию о месте в Google Картах и объяснение происходящего в видео на YouTube. Gemini также может отвечать на вопросы о реальном мире. Например, если перед вами кто-то в футболке с изображением футбольной команды, вы можете спросить Gemini, как выступает эта команда, и получить панель знаний Google Поиска с рейтингами лиги.
Это технология Astra, впервые представленная на I/O 2024. Впечатляет то, как вы можете общаться с другими людьми в реальном мире, пока Gemini остается активно работающим в фоновом режиме, пока вы не зададите вопрос. Gemini также можно использовать для открытия приложений и организации окон. Это важно в XR, где легко получить накладывающиеся друг на друга приложения, особенно при перемещении по пространству.
Естественность вопроса о том, что вы видите, без каких-либо предисловий или уточнений, подобна присутствию другого человека рядом с вами. Честно говоря, это оправдывает всю работу и усилия, которые Google в последнее время вкладывает в Gemini. Голос — это то, как вы должны взаимодействовать с LLM.
В 2020 году Google Фото представил функцию Cinematic photos, которая имитирует глубину для псевдо-3D в любом изображении. Тогда это казалось мне новинкой, но этот эффект в Google Фото для Android XR может вызывать трепет, особенно с видео, поскольку оно почти реального размера. Я использовал планшетное приложение Google Фото, которое можно изменить до версии для телефона, если хотите, а полноэкранный просмотрщик предлагает дополнительную кнопку «Immersive», чтобы включить глубину.
Когда Google Карты в 2022 году анонсировали Immersive View, я понимал, насколько это может быть полезно, но это не то, как я хочу просматривать на своем телефоне. (К тому же, я по-прежнему считаю, что разрешение при потоковой передаче недостаточно, все выглядит блочным.) В гарнитуре ситуация иная. Возможность пролететь над городом или войти в здание, воссозданное по статичным изображениям, превращается из инструмента для планирования поездок в нечто игровое, что хочется исследовать в свободное время. Google Карты из утилиты превращаются в контент уровня видео на YouTube. Тем временем, Street View столь же приятен, как и ожидалось.
Использование функции «Circle to Search» для выбора объекта в вашем окружении и получения дополнительной информации о нем воплощает видение Google Lens, представленное в 2017 году.
3D Animals в Google Поиске, безусловно, стали любимы в 2020 году, но я всегда считал, что дополненная реальность на основе телефона настолько ограничена, что почти является услугой AR. В гарнитуре это действительно очень иммерсивно.
Наконец, я, очевидно, понял, почему Google в 2021/2022 годах с Android 12L хотел оптимизировать «большие экраны» в преддверии складных устройств и возобновления поддержки планшетов, но то, как вся эта работа переносится на Android XR, является мастер-классом планирования. Планшетные версии приложений Google выглядят естественно в гарнитуре без каких-либо дополнительных усилий. Я чувствовал себя как дома, используя планшетный интерфейс Chrome для Android с полосой вкладок, похожей на настольный, с физической Bluetooth-мышью и клавиатурой.
Большинство 2D-приложений Android могут работать на Android XR. Для доступности в Play Store разработчикам достаточно согласиться. Google оптимизировал свои ключевые приложения. При просмотре YouTube (который имеет существующую библиотеку 3D-контента) главное окно — это видео, а вокруг него расположены отдельные плавающие панели для управления, описания и очереди «Далее». Также из этого окна исходит пространственное аудио, а Google TV предлагает фон виртуального кинотеатра, к которому могут подключаться другие приложения.
Я не уверен, знал ли Google на самом деле, когда создавал Cinematic photos, Android для больших экранов или Immersive View, что однажды они будут работать на гарнитуре. Если знал, это демонстрирует поразительное предвидение и планирование на далекое будущее, за которое большинство людей обычно не отдает должное Google.
Все, над чем Google работал в течение последнего десятилетия или около того, включая это, собрано в этой гарнитуре, которая появится в следующем году. Android XR кажется на одном уровне с visionOS, предлагая при этом нечто совершенно новое, но естественное благодаря Gemini и Project Astra.