Google хочет переосмыслить Android с помощью ИИ двумя способами, оба из которых используют Gemini. На мероприятии I/O 2024 Google разделила новости об ОС на два дня: сначала ИИ, а завтра — подробности о Android 15.
После запуска в феврале приложение Gemini для Android «становится еще лучше в понимании контекста того, что находится на вашем экране и какое приложение вы используете». Google утверждает, что такой контекст и интеграция делают Android лучшей платформой для использования Gemini.
Для начала Gemini скоро будет отображаться как наложение, даже при предоставлении результатов. Ранее все, что следовало за первоначальной командой, открывалось в полноэкранном режиме. Помимо сохранения контекста, это позволит перетаскивать сгенерированное Gemini изображение в разговор.
Другая важная интеграция заключается в том, что активация Gemini для Android в YouTube будет отображать кнопку «Спросить это видео». Gemini сможет отвечать на ваши вопросы об этом видео. Это будет работать для миллиардов видео, используя, например, субтитры. Тем временем, подписчики Gemini Advanced с его большим контекстным окном получат кнопку «Спросить этот PDF» для выполнения того же действия. Это обновление будет разворачиваться «в течение следующих нескольких месяцев» на сотнях миллионов устройств Android.
Тем временем Google сообщил сегодня, что Circle to Search теперь доступен более чем на 100 миллионах устройств, а к концу года планируется удвоить это число. Google добавляет в него помощник по домашним заданиям на базе LearnLM — «нового семейства моделей, доработанных для обучения». Подобно Google Lens, вы сможете обвести математическую или физическую задачу, чтобы получить пошаговые инструкции. Предстоящее обновление позволит CTS решать символьные формулы, диаграммы, графики и другие более сложные задачи.
В будущем активация Gemini будет отображать Динамические предложения. Для этого будет использоваться Gemini Nano, который сможет понимать, что отображается на вашем экране. Например, если вы активируете Gemini в разговоре о пиклболе, предложения могут включать «Найти клубы пиклбола рядом со мной» и «Правила пиклбола для начинающих».
Google представил Gemini Nano в конце прошлого года на Pixel 8 Pro, а затем расширил его на Galaxy S24. Следующее крупное обновление базовой модели на устройстве — Gemini Nano с мультимодальностью, в частности «зрением, звуком и речью». Оно будет запущено на Pixel «позже в этом году».
Помимо Динамических предложений Gemini, Gemini Nano будет использоваться TalkBack для создания подробных описаний для изображений без подписей. Для этого не требуется подключение к Интернету, так как все происходит быстро на вашем устройстве.
Это обновление поможет заполнить недостающую информацию — будь то дополнительные сведения о том, что находится на фотографии, отправленной семьей или друзьями, или стиль и крой одежды при покупках в Интернете.
Тем временем Android будет использовать Gemini Nano для предоставления «оповещений в реальном времени во время вызова, если он обнаружит паттерны разговора, обычно связанные с мошенничеством». Google будет искать характерные признаки, такие как запрос личной информации. Это происходит полностью на устройстве и будет функцией с возможностью opt-in. Google поделится более подробной информацией позднее в этом году.
Например, вы получите предупреждение, если «представитель банка» попросит вас срочно перевести средства, совершить платеж с помощью подарочной карты или запросит личную информацию, такую как PIN-коды карт или пароли, что не является обычным запросом от банка.
