Mejores prácticas para desarrollar XR para aplicaciones industriales

Resumen ejecutivo

En las últimas décadas, los desarrolladores han llevado la industria al ámbito digital. Han programado plataformas en línea donde las personas pueden comprar o vender cualquier cosa. Han creado bibliotecas abiertas que enseñan todo, desde CAD 3D hasta la fundición de mineral raw. Han producido herramientas de redes para colaborar en optimizaciones de diseño y geometría 3D, y mucho más. Como resultado, los expertos de la industria pueden compartir y aprender cualquier cosa con solo unos pocos clics. Pero para hacerlo, todavía deben conectarse a ese reino digital.

Esto ha llevado a la siguiente etapa de la transformación digital de la industria. En lugar de conectar el ámbito físico de la industria con el digital, los desarrolladores pretenden fusionarlos. En esencia, el ámbito digital ahora está llegando directamente al piso de producción a través de la realidad virtual (VR), la realidad aumentada (AR) y la realidad mixta (MR), colectivamente conocidas como realidad extendida (XR). Las aplicaciones actuales de la industria de estas tecnologías incluyen:

• Formación en VR en líneas de producción digital para reducir los riesgos para las personas, el producto y la propiedad.
• Mantenimiento asistido por RA, permitiendo a las personas en la línea ver cómo los diseñadores pretenden solucionar un problema.
• Las tiendas habilitadas para MR donde los clientes realizan recorridos virtuales o prueban productos antes de comprarlos.
• Las aplicaciones industriales de las tecnologías XR aún están en su infancia. Entonces, los desarrolladores de la industria pueden preguntarse qué aplicaciones están disponibles.

Sin embargo, la reciente incorporación de XR a la industria ha llevado a los desarrolladores a plantearse otra pregunta: ¿Cuáles son las mejores prácticas para producir estas experiencias? Eso se discutirá aquí.

Este libro electrónico fue encargado por engineering.com.

¿Qué es XR y cómo cambiará la industria?

Aunque la mayoría de los desarrolladores saben instintivamente la diferencia entre las tecnologías XR, es mejor definirlas aquí para establecer una línea base:

• La realidad virtual (VR) es una experiencia completamente digital; las únicas conexiones con el mundo real son la entrada del usuario y los dispositivos de visualización.
• La realidad aumentada (AR) es una mezcla suave entre el mundo físico y el reino virtual; los activos digitales, la información y los datos se superponen sobre los activos del mundo real.
• La realidad mixta (MR) combina completamente el ámbito digital y el mundo físico; los activos digitales interactúan con los activos del mundo real y viceversa.
• La realidad extendida (XR) abarca todo lo anterior.

“Yo definiría ampliamente [XR] como la creación de experiencias inmersivas que difuminan la línea entre las realidades físicas y digitales”, coincide Seth Glaze, gerente senior de producto técnico en el equipo de la industria en Unity. "Eso incluye específicamente VR, o realidad virtual, AR, realidad aumentada y luego realidad mixta."

Un ejemplo industrial de VR podría involucrar una reunión o taller digital. Aquí, empleados de todo el mundo interactúan simultáneamente con un paisaje digital y Digital Twins de activos del mundo real. En realidad, cada empleado lleva un casco de VR y utiliza un dispositivo de entrada para interactuar con el entorno virtual y los Digital Twins. Pero dentro del ámbito digital, los empleados podían escalar los gemelos a cualquier tamaño (para inspeccionar o probar los detalles más pequeños) o simular el rendimiento de un producto en cualquier entorno.

Otra buena aplicación de VR es "la formación inmersiva [ya que] a menudo es la única forma de entrenar a gran escala", dice Jerome Maurey-Delaunay, arquitecto de soluciones senior en el equipo de la industria en Unity. “No puedes llevar a [los aprendices] a una planta de fabricación sin más. [VR] puede dar acceso a [la instalación] a [estos] empleados … acostumbrando a las personas a los peligros [y las mejores prácticas].”

El ejemplo de mantenimiento mencionado anteriormente, sin embargo, es un buen descriptor de RA. Imagina que un ingeniero de mantenimiento lleva un casco con un accesorio similar a Google Lens. La pantalla puede notificarles que una máquina en la línea de producción necesita mantenimiento, dirigirlos a donde se encuentra la máquina, mostrarles la parte de la máquina que está rota y luego superponer un video que explique cómo reparar esa parte.

La realidad mixta lleva el concepto de la realidad aumentada un paso más allá y, al hacerlo, a menudo la combina con elementos de VR. Imagina el ejemplo de mantenimiento de RA anterior. Solo ahora, el ingeniero de mantenimiento está trabajando desde casa con dispositivos de entrada VR y un casco. Desde la perspectiva del ingeniero, están recorriendo un paisaje digital compuesto por el gemelo digital de la línea de producción. Mientras tanto, en la línea de producción física, un robot controlado por ese ingeniero está reparando físicamente una máquina.

Desafíos al crear experiencias industriales de XR

Con los términos de XR completamente definidos y su potencial para aplicaciones industriales claro, los desarrolladores naturalmente comenzarán a preguntarse sobre los desafíos que enfrentarán al crear estas experiencias inmersivas. Jonathan de Belle, gerente de desarrollo de software en el equipo de la industria en Unity, explica que su equipo a menudo es llamado para ayudar a los clientes a adaptar sus datos y diseños para aplicaciones de XR. Como resultado, él conoce los desafíos comunes de XR que enfrentan los desarrolladores.

Explica que el primer desafío tiende a ser que los modelos 3D del cliente son demasiado grandes para integrarse fácilmente en una experiencia digital. De Belle dice que su equipo a menudo trabaja con "modelos muy grandes y muy detallados ... La cantidad de piezas es enorme y cada una de esas piezas está muy detallada porque [estamos trabajando con] datos de fabricación." Esto no son datos tradicionales de videojuegos.

Un desafío relacionado pero diferente proviene del gran volumen de metadatos relacionados con modelos 3D y otros activos digitales. Ejemplos de estos datos no geométricos podrían incluir las propiedades del material de un activo. En una experiencia XR, esos valores pueden ser extraídos y añadidos a la pantalla digital. Aunque la resistencia al yield de un activo no es mucha información, es probable que se extraiga de los datos de propiedades de materiales que abarcan toda la instalación, lo que puede ser mucha información.

"Tienes los datos no visuales también", coincide de Belle. Quieres que esos datos sean accesibles dentro de la aplicación en muchos casos. Y obtener esa … información relevante también es un desafío porque hay mucha de ella.”

Este volumen de datos trae otro desafío: Compatibilidad de hardware XR. No se puede saber qué dispositivo podría tener un usuario al acceder a una experiencia XR en el entorno. Por lo tanto, esta gran cantidad de datos debe ser transferible y compatible con numerosos dispositivos de software y hardware, incluidos los CPU, GPU y auriculares heredados.

Por extensión, esto también significa que los desarrolladores enfrentan el desafío de preparar sus aplicaciones XR para el futuro. Dado que muchos dispositivos móviles, como los teléfonos, tienden a tener un cambio anual entre modelos, es igual de importante asegurar que la experiencia XR funcione tanto en dispositivos futuros como en los antiguos.

Otro desafío que enfrentan los diseñadores al crear modelos de XR para aplicaciones industriales es que típicamente necesitan acceso a Digital Twins, datos propietarios e información encerrada dentro de varios silos de datos de la empresa. Este problema se agrava al tratar con datos en tiempo real. Dado que es importante que el ámbito digital refleje al físico, el Version Control de activos 3D y varias otras fuentes de datos es fundamental.

Mejores prácticas al crear experiencias XR

Aunque las experiencias de XR serán diferentes, Unity ha demostrado que muchos de los desafíos que enfrentan los desarrolladores siguen siendo los mismos. Como resultado, la empresa ha desarrollado mejores prácticas para abordar muchos de estos desafíos.

Pregúntate, “¿Qué soluciona esta experiencia XR?”

Glaze señala que la primera y, a menudo, más importante mejor práctica al crear aplicaciones XR es comprender y definir el caso de uso y los beneficios al inicio del desarrollo. Agregar XR a los flujos de trabajo industriales no debería ser sobre subirse a la última tendencia tecnológica. Por ejemplo, no hay beneficio en llevar cada reunión a un entorno XR cuando una videollamada puede ser suficiente. No hay necesidad de forzar experiencias inmersivas a los usuarios a menos que resuelvan un problema tangible.

Al definir primero el caso de uso y el beneficio de una aplicación XR, los desarrolladores pueden usar esta información para controlar su alcance, presupuesto y tiempo de desarrollo. También les ayuda a limitar muchos de los desafíos mencionados anteriormente. Una vez que se complete esa experiencia inicial de XR, los desarrolladores pueden buscar expandir su alcance o construir otra.

Las mejores experiencias de XR están adaptadas al problema que se está resolviendo

Una vez que los desarrolladores entienden el problema que su experiencia XR está resolviendo, pueden adaptarla mejor a esa necesidad. Por ejemplo, si la aplicación se supone que:

• Ayuda a los clientes a probar los productos, luego el mejor escaparate es el 'patio trasero' de los clientes.
• Entrena a los trabajadores de mantenimiento, entonces la sala de entrenamiento definitiva es tu propio equipo.
• Prueba los diseños de productos, luego el campo de pruebas definitivo es el entorno natural de tu producto.

Por ejemplo, Glaze hace referencia a un desarrollador australiano que se centra en experiencias de formación inmersiva en VR para aplicaciones industriales. Una de estas experiencias involucró capacitar a los trabajadores para reparar plataformas petrolíferas en alta mar. El equipo funciona 24/7 y cuesta millones de dólares detenerlo. Mientras tanto, simular escenarios de emergencia en estos activos podría ser peligroso. Por lo tanto, es difícil capacitar a los trabajadores en el equipo en el mundo real.

Para resolver este problema, el desarrollador creó Digital Twins personalizados de equipos del mundo real y los agregó a aplicaciones XR. Durante la formación, los empleados ahora utilizan esta herramienta para practicar la resolución de problemas potenciales que pueden surgir en la realidad.

El desarrollador descubrió que no es suficiente que estas simulaciones de XR modelen cualquier plataforma petrolera; necesita modelar la plataforma petrolera en la que el empleado está trabajando. De lo contrario, pueden tropezar durante un momento crucial mientras intentan traducir su conocimiento de entrenamiento a la configuración actual del equipo.

Usa los modelos que tienes

La industria está llena de datos, modelos y geometría 3D que se pueden utilizar en aplicaciones XR. Glaze utilizó un ejemplo de una empresa que desarrolla atracciones y paseos para un parque temático. Modelos CAD en 3D de esos paseos y atracciones ya existen. Por lo tanto, se pueden utilizar para acelerar el desarrollo de aplicaciones XR.

Los parques temáticos son lugares muy buscados, pero no todos tienen los medios o la capacidad para visitarlos. Esto puede considerarse como ingresos perdidos para el parque y una oportunidad perdida para los posibles visitantes. En su lugar, el parque podría crear experiencias inmersivas utilizando sus modelos 3D para llegar a estos fanáticos. Ahora más personas pueden acceder a estas atracciones, desde lejos, independientemente de su ubicación física o condición. Mientras tanto, el parque crea una nueva fuente de ingresos mejorando el ROI de esas atracciones.

"Puedes aprovechar esos activos muchas veces más", dice Glaze. "Están desactivados en ese punto desde un punto de vista de seguridad." No vas a incluir todo tu modelo CAD. Pero puedes reutilizar esos [modelos sin características] para potenciar tu equipo de ventas. ... Estas [experiencias] podrían ser cosas como ... pruebas virtuales, o estás haciendo un recorrido por las instalaciones que has creado usando estos [modelos]."

Depura y optimiza tus datos para trabajar en tiempo real 3D

Gran parte de los desarrolladores de la industria de datos 3D internos tienen acceso a archivos en forma de CAD. Esto tiene sentido, ya que las herramientas CAD están diseñadas para flujos de trabajo industriales como el diseño, desarrollo y fabricación de productos. Estos flujos de trabajo requieren más información de la que se necesita, o es compatible, con entornos XR. Pero como afirman las mejores prácticas anteriores, estos datos CAD deberían utilizarse. De Belle y Maurey-Delaunay explican que esta contradicción alimenta otra práctica recomendada en el desarrollo de XR: agilizar y simplificar los datos.

"Disocia tu aplicación de tus datos, externaliza los datos", dice Maurey-Delaunay. Eso es realmente importante porque el próximo hardware que va a salir, es posible que necesites rehacer los datos para que se ajusten a los requisitos de hardware de esa plataforma. Si tus datos están integrados en tu aplicación, va a crear un montón de trabajo para reabrir el proyecto para ingerir los datos.”

La primera forma de hacer esto es crear sistemas de carga de nivel de detalle jerárquico (o LODing), donde las características de un objeto 3D son variables. Esencialmente, cuando el usuario ve un objeto desde lejos, es un simple contorno del modelo 3D, incluso si ese objeto está compuesto por miles de partes. A medida que los usuarios se acercan, se dibujan más detalles y se añaden más modelos a la experiencia. Eventualmente, se introduce suficiente información en la realidad digital para que los usuarios puedan acercarse a partes individuales. De Belle se refiere a esto como un método de transmisión de polígonos para geometría 3D.

También explica que las herramientas pueden usarse para extraer datos de modelos CAD para que puedan usarse en un entorno más 'gamificado'. Esto tiene un beneficio adicional de proteger la propiedad intelectual (PI). Estas herramientas pueden variar cuánto de un modelo 3D se abstrae según el caso de uso de XR.

“Esto se remonta a la primera [mejor práctica]”, dice de Belle. Pregúntate a ti mismo, '¿qué estás tratando de hacer con estos datos y luego qué partes de los datos puedo desfigurar? Esto va a eliminar problemas de seguridad, {reducing} fugas de datos, pero por otro lado, va a reducir el peso total de los datos y hacer que sea mucho más fácil procesarlos {it} para realmente llevarlos a una experiencia en tiempo real.”

Preparado para el futuro con nuevos equipos XR, fuentes de datos e integraciones

Para optimizar el ROI de una experiencia XR, los desarrolladores deben asegurarse de que estén preparados para el futuro. Esto no solo significa que un gemelo digital dentro de estas aplicaciones debe reflejar un activo del mundo real en tiempo real, sino que también significa que la aplicación XR en sí misma es compatible con el hardware XR actual. Para hacer esto, los desarrolladores deben asegurarse de que sus datos se adhieran a estándares abiertos. Esto puede ser difícil ya que los estándares siempre están evolucionando y no están bien definidos para las aplicaciones de XR.

Para combatir esto, Maurey-Delaunay sugiere que los sistemas automatizados son vitales. "Tener inteligencia incorporada en nuestras herramientas marca una gran diferencia", dice él. “No es solo una conversión [de modelos 3D], son conversiones dinámicas que se adaptan a tu caso de uso... Un ensamblaje complejo puede ver 60 actualizaciones al día, ¿verdad? Porque hay 30 personas trabajando en ello en varias partes. Así que tener esas automatizaciones es fundamental.”

Empieza pequeño, luego ve a lo grande

Una experiencia XR no tiene que abarcar toda una organización desde su lanzamiento. Puede, y a menudo debería, comenzar pequeño para simplificar el desarrollo, reducir los desafíos y mejorar las integraciones del flujo de trabajo. Es mucho mejor hacer una aplicación XR que muestre a un ingeniero de mantenimiento cómo reparar una parte que nunca lanzarla debido a la sobrecarga de características. Una vez que la experiencia haya demostrado su valía, se puede expandir a otras situaciones.

Maurey-Delaunay señala que esto nuevamente se relaciona con preguntar qué va a resolver la experiencia XR, ya que esto ayuda a definir su alcance inicial. Él dice: "Es encontrar esos pequeños problemas, resolverlos y luego construir sobre eso una vez que hayas demostrado el retorno de la inversión para esa solución." Construyes sobre eso para abordar más y más problemas dentro de la organización."

Cómo Unity puede ayudar a crear experiencias XR

Con la ayuda de Unity, los desarrolladores pueden crear experiencias XR industriales mientras se adhieren a las mejores prácticas y limitan los desafíos comunes.

Por ejemplo, Unity Pixyz puede ser un gran activo para los desarrolladores que buscan llevar los datos 3D de su organización a aplicaciones XR. La herramienta es capaz de importar y convertir formatos de datos CAD, BIM, malla, nube de puntos y muchos formatos de datos 3D, optimizarlos y gestionar los metadatos internos para hacerlos adecuados para su uso en experiencias XR. Unity también ofrece herramientas de gestión de activos, que facilitan a los desarrolladores encontrar y utilizar esos datos para que puedan crear experiencias inmersivas.

Como prueba, Glaze señala un ejemplo de cliente de Unity de una empresa de construcción japonesa. La empresa digitalizó todos sus activos y diseños. Cualquier máquina que use o construya puede ser utilizada en cualquier experiencia XR que la empresa desee crear. Y debido a que la empresa utiliza el ecosistema de Unity, estas aplicaciones se pueden implementar tanto en navegadores web como en aplicaciones nativas. El ecosistema de Unity también ofreció una plataforma de extremo a extremo que agiliza la ingestión, el procesamiento, la preparación y la gestión de los activos 3D de la empresa de construcción.

“El poder de Unity es que podemos ayudarte a crear experiencias XR que funcionen en una tableta o en los auriculares más recientes”, dice Glaze, “pero también te ayudamos a soportar tus dispositivos heredados, extendiendo tus presupuestos y la necesidad de capacitar a los empleados en nuevos equipos.”

En cuanto a otras formas en que Unity puede ayudar a los desarrolladores a producir experiencias XR, Glaze dice: "Creo que se reduce a, ¿quieres hacerlo tú mismo, o quieres tener a todo un equipo en Unity ayudando a asegurarte de que eres compatible con el último dispositivo que está a punto de salir?" En algunos casos, incluso obtenemos acceso anticipado a hardware que ayuda a nuestros usuarios a ser los primeros en implementar en lo próximo grande... También nos mantenemos actualizados sobre los últimos estándares abiertos. Ya sea el último proyecto de código abierto de Meta, o formatos de archivo como la descripción de escena universal (USD). Tenemos los recursos para poder seguirlos y asegurarnos de que nuestros usuarios estén lo más actualizados posible."

Unity también ofrece recursos educativos para ayudar a los desarrolladores a producir aplicaciones industriales de XR. Estos recursos incluyen capacitaciones, consultoría y foros de discusión comunitaria.