Разработчик заставил Google Lens работать в VR для анализа виртуальных объектов [Видео]

Abner Li | Пятница, 23 августа, 2019, 02:23.
Google Lens VR

С помощью Google Lens вы можете искать, наведя камеру на реальный мир, и получать доступ к полезным «фильтрам» для копирования или перевода текста. Функция визуального поиска также работает в виртуальной реальности, как показал впечатляющий демо-ролик на этой неделе.

Вчера Phasedragon в Twitter поделился успехом использования Google Lens в VR-среде. Сцена, о которой идет речь, полна корейского текста, который Lens — в плавающем окне размером с телефон — смог нативно перевести, используя фильтр, анонсированный на I/O 2019.

Так же, как и в реальном мире, перевод накладывается поверх виртуальной сцены для сохранения контекста. Хотя главная цель этого демо Google Lens в VR — показать, как инструмент распознает даже нереальное, он также хорошо демонстрирует возможности Google по наложению AR. В видео, он отлично работает с вывесками, плакатами и другими длинными текстами.

Реклама — прокрутите, чтобы увидеть больше контента

Phasedragon сообщает, что они «просто объединили несколько приложений» и «на самом деле ничего не делали сами, кроме как пробовали много, чтобы увидеть, какие из них работают».

На высоком уровне стороннее программное обеспечение захватывает VR-изображение и экспортирует его как поток виртуальной камеры для Lens, который работает в Android Studio. Самодельщик отмечает, что он «пробовал Microsoft Translate» для этого проекта, но «он просто не так хорош, как Google Lens».

Это говорит о универсальности Google Lens, не делающего различия между реальным и виртуальным. Пока Google получает изображение, Lens может использовать свои возможности машинного обучения для анализа того, что находится перед ним. Google Lens доступен на Android и iOS через приложение Google Поиск.

Подробнее о Google Lens: