Varjo y Volvo presentan la primera demostración de realidad mixta fotorrealista del mundo
Echa un vistazo entre bastidores a un ambicioso proyecto automovilístico realizado con Unity de Varjo, el fabricante de auriculares VR/XR industriales conocidos por su calidad visual superior en VR.
El equipo de Varjo está detrás de algunos de los proyectos más innovadores del mundo de la realidad mixta. Anteriormente compartieron con nosotros un entorno basado en fotogrametría que crearon en VR, y hoy compartirán cómo, junto con Unity y Volvo, abrieron nuevos caminos en una demo que une los mundos real y virtual como nunca antes.
Conozca este proyecto en persona en Unite Copenhague. Volvo y Varjo expondrán esta experiencia in situ e intervendrán en varias sesiones:
- Cómo Volvo adoptó el 3D en tiempo real y sacudió la industria automovilística
- Creación de experiencias de RV y RM de última generación con Varjo VR-1 y XR-1
- Movilidad futura, coches inteligentes y conducción autónoma: Volvo se prepara para una nueva era
El contenido que figura a continuación es cortesía de Varjo.
La realidad mixta consiste en mezclar contenidos virtuales con el mundo real. Hasta ahora, la realidad mixta se ha conseguido con la visión óptica, en la que el usuario ve objetos digitales aumentados sobre la realidad a través de unas gafas. Está bien para representar infografías o juegos, pero para escenas realistas ofrece poco valor. Los dispositivos ópticos transparentes no pueden mostrar contenidos negros u opacos sobre el mundo real. Todo parece nebuloso y holográfico.
En Varjo queríamos deshacernos de esta limitación y poder renderizar contenidos fotorrealistas y opacos, en los que es imposible distinguir entre lo real y lo virtual. Nuestra misión era hacer posible la realidad mixta fotorrealista con paso de vídeo. El vídeo pass-through consiste en utilizar cámaras para digitalizar el mundo en tiempo real y luego mostrar al usuario el resultado combinado de lo real mezclado con lo virtual.
Antes de conseguirlo, necesitábamos un casco de VR capaz de mostrar el mundo real con la resolución del ojo humano. Por eso lanzamos al mercado en febrero de 2019 nuestro primer producto VR-1 con resolución de ojo humano, dirigido a usuarios profesionales.
Y en la Augmented World Expo 2019 de Santa Clara, mostramos un atisbo de la magia que se puede lograr con el paso de vídeo. Hemos mostrado públicamente nuestro nuevo casco XR-1 Developer Edition por primera vez con una demostración conjunta con Volvo, realizada con Unity. Con XR-1, puede combinar a la perfección el contenido virtual con la realidad con una latencia extremadamente baja y seguimiento ocular integrado, con una resolución superior.
Así se creó la primera demostración fotorrealista de realidad mixta del mundo.
Este vídeo es material no modificado grabado con la Varjo XR-1 Developer Edition. Con XR-1, podrá ver contenidos virtuales fotorrealistas que se mezclan con la realidad en un campo de visión completo. También puedes cambiar sin problemas de XR a VR total.
Varjo comenzó a trabajar en un auricular de realidad mixta con paso de vídeo a principios de 2018. La colaboración entre Varjo y Volvo también comenzó en la primavera de 2018, ya que Volvo esbozó la necesidad de un auricular XR que les permitiera probar varios elementos de los coches del futuro -como heads up displays, nuevos materiales e IU para sistemas de infoentretenimiento- dentro de un coche real mientras conducían en una pista de pruebas real. Los elevados requisitos de legibilidad y baja latencia necesarios para conducir un coche en una pista de pruebas empujaron a Varjo a triunfar en el desarrollo de productos.
Dado lo bien que funcionaba Unity con la VR-1, era una opción natural probar cómo aparecerían los objetos virtuales en la realidad mixta. El hecho de que Unity sea fácil de integrar y ampliar con bibliotecas C++, como nuestro propio plug-in Varjo, nos permitió ampliar nuestro plug-in para que fuera compatible con la realidad mixta. Con sólo definir el fondo vacío de una escena de VR para sustituirlo por la señal de paso de vídeo, pudimos ver rápidamente objetos virtuales en un entorno real.
La estrecha colaboración y las rápidas iteraciones fueron posibles gracias a la facilidad de uso de Unity, ya que nuestro equipo desarrollaba y mejoraba el pass-through simultáneamente mientras trabajaba mano a mano con nuestro cliente. Un año después, la primera demostración pública del XR-1 puso de manifiesto las capacidades de nuestra tecnología, combinada con los modelos superiores de Volvo y los gráficos fotorrealistas de Unity.
La demostración ilustra la potencia de la realidad mixta con paso de vídeo frente a la visión óptica. En esta demostración, tienes los siguientes pasos:
1. Experimente la auténtica realidad
A través de los auriculares XR-1 ves el mundo real que te rodea. El mundo real se transmite con una latencia de <10 ms a través de las cámaras de alta resolución de la placa frontal. Se ve el mundo en un campo de visión completo y a alta resolución con una frecuencia de imagen de 90 Hz, lo que da la sensación de no llevar ningún casco (es decir, ver el mundo real con los propios ojos). Puedes pasear y explorar libremente el mundo real.
2. Entre en la realidad mixta fotorrealista
Un hermoso Volvo XC60 se acumula frente a ti. Aparece por primera vez como un alambre azul transparente estilizado. El coche virtual está anclado al suelo real de la sala que le rodea y orientado de modo que la silla de la cabina esté alineada con el asiento del conductor del coche virtual. El espectador puede sentarse en la silla real y seguir viendo el entorno real a través del alambre.
El coche se convierte ahora en un modelo sólido, y las superficies pasan de transparentes a opacas. El coche virtual proyecta sombras sobre el suelo del mundo real y, al mirar la superficie del coche, es posible ver que el mundo real se refleja en las superficies del coche. Los reflejos proceden de un mapa cúbico HDR que se tomó durante la configuración en el punto exacto del coche. El mismo mapa cúbico se utiliza también para la iluminación ambiental.
Es la primera vez que el espectador ve realidad mixta opaca, y el efecto es impresionante. Todavía puedes ver el mundo real y a tus colegas a través de los parabrisas.
Cómo se consiguió: Volvo proporcionó el modelo a Varjo. Como la resolución de los auriculares y del coche era tan alta, necesitábamos hacer el mayor preprocesamiento posible. La iluminación se bakeó en el DCC a texturas y se multiplicó en shaders personalizados. Las texturas bakeadas sólo se ocupaban de la oclusión y el sombreado sigue afectado por el skybox.
Mattias Wilkenmalm, de Volvo, se encargó de la creación de activos y escribió sombreadores personalizados para la pintura de los coches que ofrecieron resultados superiores. Simplemente los modificamos para conseguir el aspecto y las transiciones que necesitábamos. El modelo final tiene unos 7 millones de polígonos y unas 150 texturas 4K.
3. Cambia sin problemas a la realidad virtual, y viceversa.
A continuación, se pide al espectador que salga del coche, y pasamos a Venecia. Los últimos trozos del mundo real que rodean al espectador desaparecen en una transición única a medida que la realidad se transforma en una escena virtual de Venecia, donde el coche está aparcado en una de las callejuelas. Los reflejos del coche son ahora los de Venecia, y las sombras del coche se posan ahora en las calles de Venecia.
Al cabo de un rato, volvemos del mundo virtual al real. Ahora el usuario puede rodear el coche virtual y ver todos los detalles y reflejos. Esto demuestra que XR-1 ofrece la posibilidad de seguir interactuando con los demás y seleccionar sólo las partes que desea virtualizar.
Cómo se consiguió: Para que las transiciones fueran visualmente agradables, Timotei Ghiurau, jefe de Experiencias Virtuales e Investigación XR de Volvo, utilizó ruido 3D en el espacio del mundo con recortes alfa para introducir el coche y el entorno. Esto es rápido de hacer en el fragmento y queda muy chulo. Era una combinación perfecta cuando se trataba de plazos ajustados. Las funciones de ruido pueden obtenerse del repositorio Keijiro de Unity.
Para conseguir la transición suave de los reflejos del coche, el entorno de Venecia se añadió a una capa separada para que la sonda de reflejos en tiempo real sólo renderizara la cantidad mínima de geometría. La sonda de reflexión se renderizó a 30 fotogramas por segundo, mientras que la escena se renderiza a una frecuencia de fotogramas mucho mayor. El hecho de que la transición fuera visible en la sonda de reflejos añadía mucha más inmersión a la escena.
El hecho de que XR-1 sea el primer casco de su clase en ofrecer la posibilidad de pasar de la realidad real a la realidad mixta, de ahí a la RV completa y de nuevo a la realidad, lo convierte en una demostración impresionante. Es un momento tipo Matrix ver cómo la realidad circundante desaparece y es sustituida por una escena virtual, para luego volver a viajar.
---
Nuestro agradecimiento a Varjo por compartir este post con nosotros. Únase a nosotros en Unite Copenhague para ver de primera mano Varjo VR-1 y XR-1 Developer Edition. Empieza a desarrollar aplicaciones XR hoy mismo con Unity Industry Collection.