Сегодня Qualcomm анонсировала Snapdragon 8 Gen 3 с сильным фокусом на генеративный ИИ на устройстве для нового поколения телефонов Android. Компания также представила «Snapdragon Seamless» как средство создания более интегрированных кросс-платформенных решений.
Snapdragon 8 Gen 3
Чип изготовлен по 4-нм техпроцессу и имеет новую конфигурацию процессорных ядер: одно Prime ядро ARM Cortex X4 с частотой 3,3 ГГц, за которым следуют пять производительных ядер (3,2 ГГц) и два энергоэффективных ядра (2,3 ГГц). В общей сложности процессор Kryo CPU стал на 30% быстрее и на 20% энергоэффективнее. Графический процессор Adreno обеспечивает на 25% лучшую производительность при на 25% более низком энергопотреблении. В играх трассировка лучей улучшена в 1,5 раза.
Оба компонента, наряду с NPU Hexagon (нейронный процессор), который на 98% быстрее и на 40% энергоэффективнее по сравнению с предыдущим поколением, составляют AI Engine от Qualcomm, ориентированный на использование генеративного ИИ на устройстве.
Snapdragon 8 Gen 3 может локально запускать большие языковые модели (LLM), в частности Llama 2 7B, со скоростью до 15 токенов в секунду. Qualcomm продемонстрировала помощников на базе Llama. Также заявлена поддержка моделей компьютерного зрения с поддержкой естественного языка (LVM) и автоматического распознавания речи (ASR) на основе трансформерных сетей, что делает его первым AI Engine от Qualcomm, поддерживающим мультимодальные генеративные ИИ-модели.
Еще одной заявленной особенностью является самая быстрая в мире мобильная Stable Diffusion — менее одной секунды на изображение. Qualcomm сотрудничает с Snapchat, чтобы сделать ее доступной. Также представлен новый Sensing Hub для обеспечения персонализации в режиме постоянной готовности с низким энергопотреблением.
Одним из направлений использования генеративных ИИ-возможностей стала камера. Функции включают Video Object Eraser для удаления выбранных людей и объектов, а также ночное видение для видео с использованием ИИ. Еще одна демонстрация на устройстве показала возможность расширения границ существующего снимка.
Семантическая сегментация, которая идентифицирует и оптимизирует лица, волосы, одежду и небо, поддерживает до 12 слоев и может работать как с фронтальной, так и с основной камерами. Qualcomm особо выделяет возможность одновременной работы обеих камер. Например, всегда активные камеры могут обеспечивать разблокировку по лицу и сканирование QR-кодов, в то время как режим «Vlogger’s View» позволяет одновременно записывать видео с обеих камер и накладывать изображение с селфи-камеры поверх основной записи.
Snapdragon 8 Gen 3 также будет поддерживать захват фото в формате Dolby HDR, обеспечивая более 1 миллиарда оттенков цвета по сравнению с 16,7 миллионами, возможными с JPEG.
Как всегда, производители оригинального оборудования (OEM) и разработчики программного обеспечения решают, будут ли они создавать функции на основе всех новых возможностей, которые предлагает Qualcomm. Asus, Honor, iQOO, Meizu, Nio, Nubia, OnePlus, Oppo, realme, Redmi, RedMagic, Sony, vivo, Xiaomi и ZTE выпустят устройства с Snapdragon 8 Gen 3, первые из которых появятся «в ближайшие недели».
Snapdragon Seamless
Тем временем Qualcomm также анонсировала «Snapdragon Seamless» — «кросс-платформенную технологию» для обеспечения бесшовной интеграции между Android, Windows и другими устройствами Snapdragon (например, наушниками с чипами Qualcomm).
В частности, устройства Snapdragon Seamless смогут «обнаруживать друг друга и обмениваться информацией для работы как единая интегрированная система». Эта технология реализована в телефонах со Snapdragon 8 Gen 3, ПК с Windows на базе Snapdragon X Elite и других носимых и аудиоустройствах Qualcomm. Примеры включают:
- «Мыши и клавиатуры могут бесшовно работать на ПК, телефонах и планшетах»
- «Файлы и окна можно перетаскивать между различными типами устройств»
- «Наушники могут интеллектуально переключаться в зависимости от приоритета источника звука»
- «XR может расширить возможности смартфонов»
Среди партнеров, сотрудничающих с Qualcomm, — Google, Microsoft, Xiaomi, Honor, Lenovo и OPPO. В Android уже есть такие функции, как Nearby Share для файлов, а другие OEM-производители имеют свои собственные решения.
В будущем Snapdragon Seamless появится на платформах XR, Auto и IoT.
Примечание: Qualcomm оплатила транспортные расходы и проживание на этом мероприятии, но не оказала влияния на редакционный контент.