За последний год Google анонсировал ряд функций на базе Gemini и других ИИ-технологий для своих потребительских приложений. Вот все, что было объявлено, и когда это может появиться.
Содержание
Pixel
На презентации Made by Google 2023 была анонсирована функция Zoom Enhance для Pixel 8 Pro, которая «интеллектуально заполняет пробелы между пикселями и предсказывает мелкие детали». Используя «специальную генеративную ИИ-модель изображения» на устройстве, Google позиционировал ее как полезную, когда вы забыли увеличить изображение.
Это невероятное применение генеративного ИИ, открывающее ряд возможностей для кадрирования и редактирования ваших изображений. Так что то увеличение масштаба, которое вы раньше видели в научной фантастике, теперь прямо в телефоне в вашей руке.
В октябре Google заявил, что функция «появится позже». После трех обновлений Pixel Feature Drops она так и не появилась. Неясно, относится ли модель, о которой говорит Google, к Gemini Nano с мультмодальностью. На данный момент она может быть представлена вместе с Pixel 9 Pro как главная фотофункция этого телефона.
Google Home
В приложении Google Home генеративный ИИ будет использоваться для суммирования событий в «упорядоченном представлении последних событий». Этот «быстрый и простой сводный отчет» будет использовать маркированные списки, а также вы сможете в разговорной форме «спрашивать о вашем доме», чтобы находить фрагменты видеоистории и получать автоматизации. «Экспериментальные функции» появятся у подписчиков Nest Aware в 2024 году.
Fitbit
Fitbit Labs позволит пользователям Fitbit Premium тестировать экспериментальные ИИ-возможности и предоставлять обратную связь.
Одной из таких функций является чат-бот, который позволяет задавать вопросы о ваших данных Fitbit в естественной и разговорной манере. Эта «персонализированная тренировка», учитывающая фитнес-цели, направлена на создание «действенных сообщений и рекомендаций» с ответами, которые могут включать пользовательские диаграммы.
- «Например, вы можете глубже изучить, сколько активных минут в зоне (AZM) вы получаете, и как это коррелирует с тем, насколько восстановительным является ваш сон».
- «…эта модель может анализировать вариации в ваших моделях сна и качестве сна, а затем предлагать рекомендации о том, как изменить интенсивность тренировки на основе этих данных».
За кулисами это работает благодаря новой Personal Health LLM от Fitbit и Google Research, построенной на базе Gemini. По состоянию на март, она «появится позднее в этом году» для «ограниченного числа пользователей Android, зарегистрированных в программе Fitbit Labs в мобильном приложении Fitbit».
Google Photos
Ask Photos позволит вам задавать вопросы об изображениях и видео в вашей библиотеке. Помимо поиска фотографий, он может извлекать информацию и давать текстовый ответ. Работает на базе Gemini. Пример запросов: «Покажи мне лучшую фотографию из каждого национального парка, который я посетил» и «Какие темы были у праздников Лены в день рождения?» Его можно использовать для «предложения лучших фотографий» и создания подписей к ним. Ask Photos — это «экспериментальная функция», которая скоро появится, а Google уже намекает на больше возможностей в будущем.
Gmail + Google Workspace
В Gmail для Android и iOS вы найдете кнопку Gemini в правом верхнем углу, которая позволяет открыть мобильный аналог боковой панели для ввода полных запросов. Gmail также получит контекстные умные ответы, предлагающие более индивидуальные, подробные и тонкие предложения. Это будет внедряться в Workspace Labs в июле.
На конференции Cloud Next 2024 в апреле Google также представил функцию голосового ввода для «Помоги мне написать» в мобильном Gmail. Тем временем, функция «мгновенной полировки» «преобразует черновики в полное электронное письмо одним щелчком мыши».
На настольной версии в Gmail, Google Drive и Docs/Sheets/Slide доступна боковая панель. Gemini будет добавлен в Google Chat для суммирования разговоров и ответов на вопросы.
Google Maps
В феврале Google объявил, что Maps будет использовать LLM для работы чат-бота «Спроси о». Вы можете использовать его для поиска мест, соответствующих вашему запросу, с поддержкой последующих вопросов. Он работает на основе данных о 250 миллионах мест и загруженных пользователями фотографиях, видео и отзывах.
Chrome
Gemini Nano появится в настольном Chrome для обеспечения работы таких функций браузера, как «Помоги мне написать». Он должен быть доступен на большинстве современных ноутбуков и настольных компьютеров.
Google Search
Помимо запуска AI Overviews, Google анонсировал ряд предстоящих функций, которые сначала появятся в Search Labs:
- Вы сможете взять исходный AI Overview и сделать его «Проще» (всего несколько предложений) или «Разбить на части» (более длинный ответ).
- Возможности многоэтапных рассуждений позволят вам задавать сложный вопрос за один раз, а не разбивать его на несколько запросов.
- Планирование питания и поездок
- Страница результатов поиска, организованная ИИ
- Видеопоиск: Запишите видео и задайте вопрос о нем
Android
Gemini Nano с мультмодальностью будет запущен на Pixel «позже в этом году» и будет обеспечивать работу таких функций, как описания TalkBack на устройстве/офлайн и оповещения о мошенничестве в реальном времени, которые слушают звонок на наличие характерных паттернов. Google поделится более подробной информацией позже в этом году.
На I/O 2024 Google также продемонстрировал, как Gemini на Android скоро станет наложением, а не полноэкранным интерфейсом для отображения результатов. Помимо сохранения контекста, это позволит вам перетаскивать сгенерированное изображение в беседу. Для подписчиков Gemini Advanced кнопки «Спросить это видео» и «Спросить этот PDF» позволят Gemini анализировать видео и документы соответственно. Это будет внедряться «в течение следующих нескольких месяцев». Кроме того, Dynamic Suggestions будет использовать Gemini Nano с мультмодальностью для понимания того, что находится на вашем экране:
Например, если вы активируете Gemini в разговоре о пиклболе, предложения могут включать «Найти клубы пиклбола рядом со мной» и «Правила пиклбола для начинающих».
Еще одним дополнением, которое будет особенно полезно на мобильных устройствах, являются расширения Gemini для Google Calendar, Tasks и Keep. Это позволит вам сфотографировать страницу с несколькими предстоящими датами, которые Gemini сможет преобразовать в события календаря. В ближайшие месяцы раздел «Утилиты» позволит мобильному Gemini получать доступ к приложению «Часы» на Android.
Мы также ожидаем появления мобильного Gemini на Pixel Tablet этим летом.
Gemini
Live позволит вам вести двусторонний диалог с Gemini. Чтобы сделать взаимодействие более естественным, Gemini будет возвращать краткие ответы, которые вы сможете прервать, чтобы добавить новую информацию или запросить уточнение. Вы можете выбирать из 10 различных голосов, а Google представляет Gemini Live как полезный для подготовки к интервью или репетиции речи. Он будет доступен «в ближайшие месяцы» для подписчиков Gemini Advanced.
«Позже в этом году» Gemini Live позволит вам включить режим прямой камеры. Просто наведите на что-нибудь в реальном мире и задайте вопрос. Это работает благодаря Project Astra.
Gems — это индивидуальные версии Gemini, которые позволяют вам иметь «партнера по тренировкам, помощника шеф-повара, партнера по программированию или руководство по творческому письму». Подписчики Gemini Advanced смогут создавать свои собственные, в то время как все пользователи будут иметь доступ к готовым Gems, таким как Learning Coach.
Просто опишите, что вы хотите, чтобы ваш Gem делал и как он должен отвечать — например, «ты мой тренер по бегу, дай мне план ежедневных пробежек и будь позитивным, бодрым и мотивирующим». Gemini примет эти инструкции и одним щелчком мыши улучшит их, чтобы создать Gem, соответствующий вашим конкретным потребностям.
Пользователи Gemini Advanced также получат «иммерсивный планировщик», который выходит за рамки простого предложения мероприятий, а фактически учитывает время в пути и остановки, а также интересы людей, чтобы создать подробный маршрут. Gemini будет использовать данные о рейсах/путешествиях из Gmail, рекомендации Google Maps для еды и музеев рядом с вашим отелем, а также Поиск для других мероприятий.