По состоянию на начало 2020 года автомобили Waymo с автопилотом проехали 20 миллионов миль по дорогам общего пользования. Это означает огромное количество записанных данных с датчиков для улучшения автономной системы. Сегодня Waymo подробно рассказала о своем инструменте Content Search и базе данных с миллиардами встреченных дорожных объектов.
Автомобили Waymo классифицируют дорожные объекты и элементы, чтобы назначить им соответствующее поведение. Все эти данные хранятся и используются для обучения систем машинного обучения. Для поиска примеров Waymo ранее полагалась на эвристические методы, которые искали объекты с определенной расчетной скоростью и высотой.
Например, чтобы найти примеры людей, катающихся на самокатах, мы могли бы просмотреть наши журналы данных в поисках объектов определенной высоты, движущихся со скоростью от 0 до 20 миль в час.
Этот подход был слишком общим, и теперь Waymo использует Content Search. Разработанная совместно с Google Research год назад, лежащая в основе технология распознавания объектов в Google Photos и Поиске по картинкам была применена для индексации 20 миллионов миль данных о поездках. Весь процесс поиска занимает секунды.
Поиск с помощью Content Search может осуществляться тремя способами. Поиск по сходству может использовать изображения, уже имеющиеся в базе данных, или изображения из Интернета для поиска практически идентичных объектов. Это работает путем преобразования каждого объекта в базе данных Waymo в вложения, которые могут быть ранжированы по степени сходства.
Также имеется возможность поиска по категориям. Например, дорожный мусор может включать в себя все — от пластиковых пакетов до обрывков шин.
Этот глубокий уровень понимания открывает возможность выполнять чрезвычайно нишевые поиски объектов, которые обладают определенным признаком, таким как марка и модель автомобиля, или даже конкретные породы собак.
Наконец, Content Search может запрашивать текст, появляющийся на изображениях, используя оптическое распознавание символов. Это позволяет Waymo считывать дорожные знаки, надписи на машинах экстренных служб, других легковых и грузовых автомобилях.
На практике Content Search позволил Waymo «экспоненциально увеличить скорость и качество данных, которые мы отправляем на маркировку».
Возможность ускорить маркировку способствовала многим улучшениям во всей нашей системе: от обнаружения школьных автобусов с детьми, которые вот-вот ступят на тротуар, или людей, катающихся на электросамокатах, до кошки или собаки, перебегающих дорогу.