На прошлой неделе на конференции I/O 2023 Google анонсировала новую версию Project Starline и позволила большему количеству людей опробовать ее. Мы получили возможность испытать эту иммерсивную технологию видеоконференцсвязи, а MKBHD смог записать хорошее приближение того, каково это — использовать Project Starline.
Оригинальный Project Starline против нового
Первые прототипы Project Starline были размещены в том, что по сути являлось кабиной с двумя основными компонентами. «Дисплейный блок» включал 65-дюймовую панель 8K (60 Гц), динамики, микрофоны, подсветку и компьютер, а также несколько комплектов камер:
- Четыре камеры для отслеживания лица с высокой частотой кадров (120 кадров в секунду) для «оценки 3D-положения глаз, ушей и рта с точностью около пяти миллиметров».
- Три группы камерных блоков для 3D-видео. Каждая содержит две инфракрасные и одну цветную камеру, а нижний блок содержит еще одну цветную камеру с зумом на лицо.
«Блок подсветки» состоял из скамьи и инфракрасной подсветки. Четыре графических процессора NVIDIA (два Quadro RTX 6000 и два Titan RTX) использовались для сжатия четырех потоков цвета и трех потоков глубины. Все передавалось через WebRTC, а Project Starline объединял работу Google в области 3D-изображений, сжатия в реальном времени, пространственного звука и дисплеев светового поля.
Эта установка, очевидно, дорога и технически сложна, и Google на прошлой неделе отметил, что «размер и сложность системы затрудняли ее внедрение во многие современные офисы».
Новый прототип Project Starline по размеру больше похож на цифровое интерактивное доску с защитой глубины (своего рода) перед экраном, а также с набором столов. Примечательно, что для создания карты глубины используются лишь «несколько стандартных камер», расположенных вверху, слева и справа от дисплея, и ИИ.
Project Starline: практический опыт
С момента анонса Project Starline на I/O 2021 люди восхищались тем, насколько реалистично и трехмерно выглядели люди перед ними. С тех пор Google постепенно расширял доступ к сторонним компаниям.
Используя Starline на прошлой неделе, я определенно ощутил неожиданную глубину. Человек перед вами не плоский, и я сразу же посмотрел влево и вправо от него, чтобы проверить.
Однако, я бы не сказал, что они полностью трехмерны. Их глубина имеет предел, который, на мой взгляд, стал очевиден после первоначального удивления и восторга. Казалось, что человек, на которого я смотрел, был картонной вырезкой толщиной от 1 до 2 дюймов, а не полной головой и телом. То же самое произошло, когда мой партнер по демонстрации протянул мне яблоко.
По какой-то причине 3D-эффект был гораздо лучше, когда я снимал очки. Когда я их носил, 3D-эффект казался локализованным в моей оправе и чем-то похожим на просмотр 3D-фильма в дорогом кинотеатре.
Тем временем, я бы хотел, чтобы 3D-человек был гораздо более резким. Я видел пиксели так же, как и разрешение 1800 × 1920 на глаз у Meta Quest Pro я нахожу недостаточно четким.
Учитывая мое краткое использование, я вижу Starline как плюс/дополнение к опыту видеозвонков. Есть новизна в добавлении некоторой реальной глубины, которую, я думаю, со временем хотелось бы иметь всегда.
Хотя человек передо мной имел глубину, одним из самых удивительных вещей, которые я заметил, был переход между краем экрана Starline и стеной за дисплеем. Окно Starline действительно ощущалось как портал в другой мир, через который мне буквально хотелось пройти. Я нашел это чрезвычайно забавным.
Демонстрация Starline от MKBHD
Учитывая задействованное отслеживание, Starline очень трудно продемонстрировать виртуально. Вам нужно испытать это лично, чтобы получить полный эффект. Однако Маркесу Браунли и его команде пришла в голову идея воспроизвести этот опыт в видео:
Видите ли, в основном, как только вы садитесь в кабину Project Starline, система должна определить, где находится ваше лицо, а затем вы можете двигаться и рассматривать объекты с отслеживанием головы и тела. И, конечно, это не сработает, если вы просто поместите туда камеру. Но если вы покажете ей лицо и камеру одновременно, например, картонное лицо, в которое можно каким-то образом просунуть объектив камеры, то оно будет отслеживаться, и вы сможете увидеть, о чем я говорю.