После запуска в марте и продолжения в последние недели Google официально расширяет возможности камеры и демонстрации экрана в Gemini Live для Android на серии Pixel 9 и Galaxy S25.
До сих пор в диалоговом режиме Gemini принимались только голосовые сообщения, изображения, PDF-файлы или видео с YouTube. Благодаря Project Astra, Gemini Live теперь может видеть, что происходит на вашем экране. После демонстрации экрана вы можете перемещаться и прокручивать что-либо и задавать вопросы об этом.
Один из способов быстрого доступа — запустить оверлей Gemini и нажать новый чип «Поделиться экраном с Live». Android потребует подтверждения от пользователей, желающих поделиться своим экраном с приложением Google, которое управляет Gemini. (Опция «Поделиться одним приложением» отключена.)
Существует уведомление в стиле вызова, отображающее живой счетчик рядом со временем в строке состояния. Нажатие на этот значок открывает полноэкранный режим Gemini Live. Перед началом ответа Gemini на ваш запрос происходит легкая вибрация.
Другой способ запуска — открыть Gemini Live, как обычно, и нажать кнопку демонстрации экрана. Небольшой редизайн уменьшает круглые кнопки до более мелких значков.
Тем временем вы можете поделиться изображением с вашей основной камеры с Gemini Live, чтобы вести разговор о том, что вы видите в реальном мире. Предварительный просмотр в реальном времени будет занимать большую часть экрана, а вы сможете переключиться на фронтальную камеру из нижнего правого угла видоискателя.
Google отмечает: «Для получения лучших результатов снимайте объекты с плавными движениями». Также есть напоминание: «Чтобы прервать Gemini, коснитесь или начните говорить». Экран должен быть активен, чтобы Gemini Live получал видео.
Google впервые продемонстрировала Project Astra — цель DeepMind по созданию «универсального ИИ-агента, полезного в повседневной жизни» — в мае прошлого года на конференции I/O 2024. Новые функции, ставшие возможными благодаря Gemini 2.0, были подробно описаны в декабре того же года, а Google снова говорила о нем в январе на презентации Galaxy S25.
С сегодняшнего дня Google предоставляет эти возможности Live на базе Astra «большему количеству пользователей, начиная со всех пользователей приложения Gemini на устройствах Pixel 9 (официально это единовременное обновление Pixel Drop) и Samsung Galaxy S25». Принудительно остановите приложение Gemini/Google, чтобы получить его.
Он «скоро» будет доступен всем подписчикам Gemini Advanced (19,99 долларов США в месяц за Google One AI Premium) на устройствах Android.