Google раскрывает данные о VPS, ML-технологиях, лежащих в основе AR-навигации в Maps, и о том, как камеры становятся еще одним сенсором

Вчерашний отчет показал, что предстоящий режим AR-навигации в Google Maps сначала тестируется с Local Guides. Google теперь подробно описывает технику «глобальной локализации», лежащую в основе этой функции, и то, как она использует Visual Positioning Service (VPS), Street View и машинное обучение.

Сегодня синяя точка в Google Maps, обозначающая ваше текущее местоположение, печально известна своей неточностью. GPS и компас имеют «физические ограничения», особенно в городской среде, из-за чего ваше положение на карте часто «прыгает».

Процесс определения положения и ориентации устройства относительно некоторой точки отсчета называется локализацией. Различные методы подходят к локализации по-разному.

Решение Google с «глобальной локализацией» заключается в добавлении еще одного сенсора для лучшего определения ориентации. Существующие сенсоры, измеряющие магнитное поле и поле гравитации, легко искажаются магнитными объектами, такими как автомобили и здания, «что приводит к ошибкам, погрешность которых может достигать 180 градусов».

Реклама — прокрутите дальше, чтобы увидеть больше контента

VPS определяет местоположение устройства на основе изображений, а не сигналов GPS. Сначала VPS создает карту, делая серию снимков с известным местоположением и анализируя их на наличие ключевых визуальных признаков, таких как очертания зданий или мостов, для создания масштабного и быстрого для поиска индекса этих визуальных признаков. Для локализации устройства VPS сравнивает признаки на изображениях с телефона с признаками в индексе VPS. Однако на точность локализации через VPS сильно влияет качество как самих изображений, так и связанного с ними местоположения.

Для Google этот индекс VPS представляет собой данные Street View из 93 стран мира с «триллионами сильных опорных точек для применения триангуляции». Когда телефон пользователя сканирует мир, он сначала «отфильтровывает временные части сцены и фокусируется на постоянных структурах, которые не меняются со временем», прежде чем выполнить сопоставление. Машинное обучение используется для удаления деревьев, которые могут выглядеть по-разному в зависимости от сезона, динамического движения света и строительных работ.

Другим аспектом режима навигации при ходьбе является ARCore для наложения инструкций и других точек интереса, таких как кафе и магазины. Это еще один способ, которым Google использует камеру для добавления контекста к тому, на что вы смотрите в мире.

Используя камеру смартфона в качестве сенсора, эта технология обеспечивает более мощный и интуитивно понятный способ помочь людям быстро определить, куда идти.

В посте блога Google AI в заключение подчеркивается, что тестирование все еще необходимо в неоптимальных визуальных условиях, таких как поздняя ночь, снежная буря или сильный ливень.