Google очень медленно внедряла визуальные функции Gemini Live на базе Astra, но они начинают расширяться. Вот как это работает и что вам нужно знать.
Компания предполагает, что появление элементов управления камерой и совместным доступом к экрану является частью «Pixel Drop» за апрель 2025 года, но незапланированный набор функций кажется странным, учитывая, что функция будет работать практически на любом телефоне Android.
Содержание
Когда вы запустите приложение Gemini на своем телефоне Android, появится всплывающее окно, указывающее, что функции Gemini Live на базе Astra готовы к тестированию. Во всплывающем окне говорится, что вы можете «обсуждать идеи, узнавать об окружающей среде» или «получать помощь с тем, что находится на вашем экране». Последнее относится к функции совместного доступа к экрану, которая похожа на улучшенную версию Circle to Search.
Gemini Live Astra: Как получить доступ
Чтобы получить доступ к любым новым визуальным режимам, вам понадобится план подписки Google One AI Advanced. Если у вас есть Pixel 9 Pro, Pro XL, Pro Fold или некоторые модели Galaxy S25, вы получите существенную бесплатную пробную версию этого платного уровня. Пробная версия длится 12 месяцев для моделей Pixel 9 Pro и 6 месяцев для устройств S25.
Google предоставила нам несколько способов доступа к новым элементам управления. Самый простой — через специальное приложение Gemini. Когда вы запустите Gemini Live, обычный интерфейс в стиле вызова получит пару дополнительных кнопок. Есть кнопка камеры и значок презентации.
Вы можете использовать свой голос с помощью голосовой команды «Привет, Google». Над компактной строкой всплывающих окон Gemini вы увидите кнопку «Поделиться экраном с Live», нажав на которую начнется совместное использование экрана с помощью ИИ. Пока что вы не можете выбрать отдельное приложение. Вместо этого вам придется поделиться всем своим экраном. Это может быть навязчиво для некоторых людей. Чип в строке состояния будет указывать на то, что это активно. Нажатие позволяет быстро закрыть или завершить сеанс.
Каково это использовать?
Первоначальный запуск и ввод очень быстрые, но видоискатель открывается и его очень легко расшифровать. Он несколько напоминает интерфейс камеры Pixel, поэтому мгновенно знаком тем, кто уже какое-то время пользуется телефонами Google. Вам не обязательно использовать основную камеру. Есть переключатель для перехода на фронтальную камеру, если вы хотите показать себя или свой фон и задать вопросы или получить совет.
При использовании режима Gemini Live Astra я обнаружил, что фокусировка камеры немного капризна, а автоматическое переключение объективов может раздражать вблизи. Он советует вам оставаться неподвижным или держать объект как можно более неподвижным. Я могу это подтвердить, но, несмотря на то, что некоторые объекты не в фокусе, Gemini быстро определяет, что это такое, или без особых затруднений предоставляет информацию.
Отсутствие возможности масштабирования, даже с использованием выделенных телеобъективов на вашем телефоне, также кажется недальновидным. Если вы хотите указать на что-то в мире, вам придется подойти очень близко, или вы надеетесь, что Gemini сможет понять, на что вы указываете.
Для простых запросов он вполне подходит. Однако лучше всего он подходит для более глубоких вопросов, таких как помощь или советы по объектам, областям и местам, а не для простых вещей, которые вы, вероятно, могли бы найти сами.
Отличным примером является получение калорийности пищевых продуктов или информации об аллергенах. Я даже пробовал переводить в реальном времени, и хотя они казались довольно точными, Gemini Live не предоставляет и не отображает текст на экране. Вы получаете только звуковые сигналы и ответы. Google Lens накладывает переведенный текст, поэтому это может быть лучшим вариантом для перевода вывесок, текста и многого другого.
В данный момент вам придется подождать, пока вы не закроете сеанс, прежде чем вы сможете «увидеть» некоторые текстовые ответы. Таким образом, вы получите журнал чата того, что было сказано, что ответил Gemini, и любые действия, которые вы можете предпринять. Это можно было бы реализовать немного лучше, но пока это нормально. В сочетании с другими приложениями, такими как Google Карты и различными другими сервисами, вы, вероятно, могли бы использовать это как средство для визуального обучения или вариант учебного пособия.
Я протестировал видеофункции Gemini Live в стиле Astra на Pixel 9 Pro XL, и хотя это не всегда было мгновенно, это ощущалось довольно плавно, а ответы были почти всегда достаточно быстрыми, чтобы казаться плавными.
Совместное использование экрана ощущается немного менее «естественным», чем использование камеры. Поскольку вы не получаете визуальной обратной связи, а только звуковые сигналы и информацию, это не ощущается так же интегрированно. Получение сводок веб-страниц — это, пожалуй, максимум возможностей этой функции или получение дополнительной информации без выхода со страницы или экрана. Я полагаю, что это изменится, когда мы получим больше интеграций. Представьте себе возможность добавлять товары в списки покупок с URL-адресами или информацию о рейсах в ваш календарь при планировании поездок. Пока мы ничего из этого не можем сделать.
Точность и другие соображения
Как и почти все платформы ИИ, Gemini не является совершенной системой. Фактически, она может ошибаться во многих сценариях. Там, где она преуспевает, так это в извлечении информации.
Я обнаружил, что определенные элементы вызывали проблемы, когда Gemini не мог предоставить мне точную информацию. Это будет нормально для вещей, о которых вы знаете, и вы можете эффективно прерывать и корректировать ошибочный ИИ. Проблема здесь в том, что галлюцинации о вещах, о которых вы можете не так хорошо знать, могут привести к проблемам.
Например, я спросил о картридже игры Gameboy, и Gemini неправильно идентифицировал картридж и предоставил мне совершенно неверную информацию о названии и игровом процессе. Обеспечение четкого вида чего-либо в видоискателе помогает смягчить эту проблему. Простое изменение места «съемки» мгновенно решило проблему без вмешательства. На данном этапе нельзя слепо доверять информации. Gemini по-прежнему подвержен ошибкам, которые варьируются от незначительных до значительных в равной степени.
Камера, ориентированная на мир… с оговорками
Android XR и платформа AR будут сильно полагаться на Gemini как на средство взаимодействия с окружающим миром и получения информации о нем. Gemini Live с функциями Astra — это первый шаг к достижению этой конечной цели. Согласно демонстрациям, показанным в конце прошлого года, возможно, нам осталось несколько лет до появления очков AR от Google, но это раннее введение — неплохой способ начать.
Как и при использовании любого продукта с ИИ, будьте осторожны, полагаясь на 100% предоставляемую информацию. Тем не менее, это кажется отличным началом и надежным способом взаимодействия с окружающим миром или получения помощи, когда вы застряли. Со временем он будет улучшаться и становиться лучше по мере поступления новых данных, так что, по крайней мере, теоретически, это худшее, что когда-либо было в видеорежимах Gemini Live – а это и так неплохо.
Совместное использование экрана на данном этапе очень ограничено, и, хотя это приятный дополнительный вариант, он еще более ограничен. Если он сможет развиваться и хорошо работать с другими вашими сервисами, он станет полезным инструментом. Сейчас это фокус, который мало чем отличается от обычного Gemini Live.