Google Clips стал одной из немногих настоящих неожиданностей на мероприятии Google 4 октября на этой неделе. Разработанный для ненавязчивого запечатления моментов, он уделяет большое внимание конфиденциальности благодаря машинному обучению на устройстве. Такая обработка без облака отчасти осуществляется благодаря чипу, который группа Intel Movidius называет «процессором зрения».
Этот VPU Myriad 2 — это сверхмаломощный чип, который позволяет «передовым алгоритмам машинного обучения Google работать в режиме реального времени непосредственно на камере Clips» (по данным The Verge). В результате устройству не нужно обращаться к облаку для идентификации лиц, которые оно должно сфотографировать. Кроме того, процесс обучения Clips тому, кого фотографировать — путем нажатия кнопки ручного затвора — полностью осуществляется в автономном режиме.
Помимо распознавания лиц, другие области применения Myriad 2 включают определение глубины 3D, отслеживание жестов/глаз и оценку позы, а также возможность запуска встраиваемых глубоких нейронных сетей.
Директор Google по машинному интеллекту Блез Агуэра-и-Аркас отметил, что «партнерство с Movidius позволило нам портировать некоторые из самых амбициозных алгоритмов на серийное устройство на годы раньше, чем мы могли бы с альтернативными кремниевыми решениями».
Отказ от необходимости постоянной связи с облаком означает улучшенное время автономной работы, что также приводит к низкой задержке. Что касается конфиденциальности, Myriad 2 также позволяет сохранять «движущиеся фотографии» clips во встроенной памяти объемом 16 ГБ до тех пор, пока пользователь не одобрит их для обмена или резервного копирования в Google Photos.
Задолго до того, как Intel приобрела Movidius в сентябре 2016 года за предполагаемую сумму в 400 миллионов долларов, Google уже использовала чипы последней. В первом эталонном телефоне Project Tango в 2014 году использовался Myriad 1 первого поколения для обеспечения возможностей компьютерного зрения.
Ранее в прошлом году, до приобретения, Google и Movidius подписали партнерское соглашение «для ускорения внедрения приложений машинного интеллекта в мобильные устройства».
Машинное обучение на устройстве было явной тенденцией на мероприятии Google 4 октября: возможность Pixel 2 распознавать играющую вокруг вас музыку полностью офлайн была не менее впечатляющей.
https://www.youtube.com/watch?v=GEy-vtev1Bw