Технология, лежащая в основе камеры и совместного использования экрана Gemini Live, называется Project Astra. Она доступна в виде приложения для Android для доверенных тестировщиков, а сегодня Google представила возможности агента для Project Astra, в том числе то, как он может управлять вашим Android-телефоном.
Google продемонстрировал новые возможности Project Astra на Pixel 9 Pro. В этом примере человек ведет живой разговор во время ремонта своего велосипеда. Все начинается с того, что пользователь запрашивает, а Astra находит в интернете PDF-руководство. После открытия Astra существует в виде плавающего пузыря, пока вы видите его сенсорный ввод и свечение экрана, когда он прокручивает файл до нужной страницы.
Далее мы видим, как приложение открывает приложение YouTube для поиска, прокручивает видео и затем воспроизводит его. Затем приложение ищет в Gmail пользователя информацию из разговора. На сцене с несколькими корзинами, заполненными деталями, Astra подсвечивает нужную на экране (что-то, что Google демонстрировал для Lens много лет назад на I/O).
Еще одна впечатляющая возможность — совершать звонки, которые ищут конкретную информацию от вашего имени. В данном случае это звонок в велосипедный магазин с вопросом о наличии детали, включая возможность перезвонить, чтобы подтвердить, что велосипедист ее хочет.
Мы видим, что Astra находится в середине ответа, когда ее прерывает другой человек. Astra автоматически приостанавливается и игнорирует этот нерелевантный разговор. Затем пользователь просит возобновить ответ, и сессия продолжается все это время. Между тем, когда они просят корзину для велосипеда, в которую поместится собака, память Astra упоминает имя собаки.
Google называет это «Action Intelligence», где Gemini использует поиск контента, управление интерфейсом, выделение агентов, помощь в звонках, обоснование знаний, контекстно-зависимый диалог, персонализированный шопинг и нативный аудиодиалог.
С помощью Project Astra Google хочет создать «универсального AI-агента, который может быть по-настоящему полезен в повседневной жизни». Это приложение Project Astra — способ Google тестировать возможности, которые в конечном итоге появятся в Gemini Live для потребителей.
Наше конечное видение — превратить приложение Gemini в универсального AI-ассистента, который будет выполнять за нас повседневные задачи, заниматься нашей рутинной административной работой, предлагать новые интересные рекомендации, делая нас более продуктивными и обогащая нашу