Помимо анонсов GDC 2025, Google сегодня объявил, что Gemini в Android Studio «теперь поддерживает мультимодальные входные данные, что позволяет прикреплять изображения непосредственно к вашим запросам» для визуальной помощи в процессе разработки приложений.
Мультимодальные возможности были впервые представлены на I/O 2024. Теперь Gemini в Android Studio может «понимать простые каркасы и преобразовывать их в рабочий код Jetpack Compose». Поле «Задать вопрос Gemini» теперь имеет опцию «Прикрепить файл изображения» (JPEG или PNG) в канареечной версии Android Studio Narwhal. Google рекомендует использовать изображения с «сильными цветовыми контрастами» для достижения наилучших результатов и «четкий запрос».
Вы можете загружать скриншоты и пользовательские интерфейсы, от простых каркасов до детализированных макетов, а разработчики могут указывать ожидаемую функциональность (как показано во втором примере с калькулятором: «сделайте так, чтобы взаимодействия и расчеты работали так, как вы ожидаете»).
Примеры преобразования «визуальных дизайнов в функциональный код пользовательского интерфейса» включают:
- «Для этого предоставленного изображения напишите код Android Jetpack Compose, чтобы создать экран, максимально приближенный к этому изображению. Убедитесь, что включены импорты, используется Material3, и код документирован».
- «Для этого предоставленного изображения напишите код Android Jetpack Compose, чтобы создать экран, максимально приближенный к этому изображению, проявите творческий подход к цветам. Сделайте так, чтобы взаимодействия и расчеты работали так, как вы ожидаете. Убедитесь, что включены импорты, используется Material3, и код документирован».
Google позиционирует Gemini как инструмент, предоставляющий «первоначальный проектный каркас», или черновик, где «потребуются ваши правки и корректировки».
Типичные усовершенствования включают обеспечение правильного импорта ресурсов и импорта значков. Рассматривайте сгенерированный код как высокоэффективную отправную точку, ускоряющую ваш рабочий процесс разработки пользовательского интерфейса.
Визуальный анализ Gemini также можно использовать для выявления и устранения ошибок: «Загрузите скриншот проблемного пользовательского интерфейса, и Gemini проанализирует изображение и предложит возможные решения. Вы также можете включить соответствующие фрагменты кода для более точной помощи».
Gemini в Android Studio также можно использовать для загрузки архитектурных диаграмм и получения объяснений или документации, что несколько похоже на пример с очками Gemini Astra с прошлогоднего I/O.
Скачайте канареечную версию Android Studio Narwhal сегодня, чтобы опробовать новые мультимодальные функции!