ИИ на устройстве — главный приоритет для Android в будущем, и Google предоставил дополнительные ресурсы для разработчиков на I/O 2024.
На сессии I/O 2024 «ИИ на устройстве Android под капотом» были представлены «хорошие примеры использования» генеративного ИИ на устройстве:
- Потребление: Предоставление сводки или обзора текста
- Создание: Предложение ответов в приложениях обмена сообщениями или генерация/перефразирование текста
- Классификация: Определение тональности / настроения в разговорах или тексте
В целом, преимущества включают безопасную локальную обработку, доступность в автономном режиме, снижение задержки и отсутствие дополнительных (облачных) затрат. Ограничения заключаются в меньшем размере параметров — 2-3 миллиарда, или «почти на порядок меньше, чем у облачных аналогов». Также имеется более узкое контекстное окно, и модель будет менее обобщенной. В связи с этим «тонкая настройка имеет решающее значение для достижения хорошей точности».
Gemini Nano является «основным выбором для Android при создании репликаций генеративного ИИ на устройстве», но вы также можете запускать Gemma и другие открытые модели.
До сих пор только приложения Google — «Сводка» в Pixel Recorder, Magic Compose в Google Messages и «Умный ответ» в Gboard — использовали его, но Google «активно сотрудничает с разработчиками, имеющими убедительные сценарии использования Gemini на устройстве» в рамках программы раннего доступа. Их запуск ожидается в 2024 году.
Тем временем Google скоро начнет использовать Gemini Nano для субтитров TalkBack, динамических предложений Gemini и предупреждений о спаме, а обновление мультимодальности ожидается позже в этом году «начиная с Pixel».
Google также отметил состояние генеративного ИИ на устройстве год назад и достигнутые с тех пор улучшения, такие как аппаратное ускорение:
