Una mirada al futuro de la computación espacial con Owlchemy Labs

Estamos entrando en la nueva era de la computación espacial, donde las herramientas robustas de realidad extendida (XR) y los flujos de trabajo flexibles pueden permitir a los desarrolladores agregar interacciones, escalar gráficos, crear prototipos y probar en el editor. En elInforme de juegos de Unity de 2024, predecimos una mayor demanda de juegos XR, y muchos de los estudios contribuyentes están de acuerdo con este pronóstico.

Antonia Forster, defensora principal de Unity, se reunió con Andrew Eiche, director ejecutivo de Owlchemy Labs, para conocer su perspectiva sobre el futuro de la computación espacial y consejos prácticos sobre el desarrollo para Apple Vision Pro.

Antonia Forster: Hola Andrew, gracias por acompañarme. Empecemos mirando hacia adelante. ¿Cómo ve usted el futuro de la realidad virtual y la computación espacial?

Andrew Eiche: Una de las cosas más importantes en las que nos estamos moviendo es el uso de dispositivos XR como un entorno informático espacial general para tareas específicas del dominio, con Apple Vision Pro y los cambios en el sistema operativo de Meta a la cabeza. Estamos tratando de resolver el paradigma de cómo realizar una carga de trabajo genérica en VR versus una extremadamente específica.

¿Cómo será cuando realmente queramos trabajar en XR? Estamos tratando de tomar tareas existentes y transferirlas a un paradigma idéntico en un entorno espacial. Esperemos que los desarrolladores se adapten rápidamente y podamos comprender la amplitud y profundidad de este medio.

Es muy importante que hagamos esto para que podamos descubrir la utilidad y la intuición de la tecnología. En esta industria, las plataformas se ubican en un espectro de estos marcadores, y aquellas con mayor potencial de adopción se ubican en el cuadrante de alta utilidad y alta intuición. Con la realidad virtual, queremos asegurarnos de que se mueva en esa dirección: muy útil y muy intuitiva, el cuadrante en el que se ubican los teléfonos, las PC y los televisores inteligentes.

De cara al futuro, pensar en la computación espacial contribuye a que la realidad virtual sea más útil, pero todavía tenemos que trabajar para que sea alcanzable. ¿Cómo hacemos esto? Cambiamos el vector de entrada principal para alinearlo con la plataforma en la que más se centran los jugadores: móvil. A partir de ahí, debemos centrarnos en eliminar la fricción al implementar el seguimiento manual, hacer que los auriculares sean más livianos y obtener una mejor óptica.

Hablaste de la evolución de la tecnología. ¿Qué otras tendencias tecnológicas crees que podrían impactar la XR en los próximos años?

La salpicadura gaussiana es increíble, y creo que el próximo paso será descubrir cómo capturarla y animarla mejor. Resolvimos el problema equivocado con la captura tridimensional, donde asumimos que si simplemente cubrimos el espacio y las cámaras o usamos campos de luz, sería genial, pero hay algo que simplemente funciona mejor, como una gaussiana transparente. Creo que vamos a ver un gran impulso en eso y en descubrir cómo vamos a optimizarlo.

También creo que la IA va a tener una influencia. Uno de los casos de uso realmente interesantes que estoy esperando es cuando no tengamos que renderizar todo el cuadro, sino solo parte de él. ¿Qué sucede si procesamos el 30 % y luego lo enviamos a una unidad de procesamiento tensorial (TPU) y esta simplemente lo completa, basándose en todos los datos que tiene antes y después? De repente, el chip gráfico que está instalado en nuestros auriculares ahora es compatible con PC. Así es literalmente cómo funcionan los reflejos para NVIDIA RTX™, así que ya estamos recorriendo ese camino.

También existe la IA que rellena los huecos de la pintura de peso, o ve a la IA generativa potencialmente reemplazar un algoritmo de mejor ajuste como un interpolación. Un algoritmo de mejor ajuste tiene piezas con las que construir, y si el ajuste óptimo está a medio camino entre las piezas, usar IA generativa para mover el control deslizante hasta la mitad es interesante, útil y permite el control del artista. Esto sería genial para los animadores que quieren centrarse en hacer sus poses clave y no perder tiempo interpolando. La IA podría ayudar con eso, y luego el animador puede entrar y limpiarlo.

¡Gracias por la información! Teniendo en cuenta la tendencia actual del espacio XR, ¿cuál es su consejo para los desarrolladores que ingresan a esta era de la computación espacial?

Desde el punto de vista del diseño de interacción, es necesario desglosar la forma en que interactúas con algo y no intentar encajar una clavija cuadrada en un agujero redondo. Es tentador para los desarrolladores lanzarse y profundizar en el tema, pero como desarrollador nuevo, recomiendo abordar la computación espacial lentamente. Tómate tu tiempo para apilar los bloques de construcción adecuados.

Por ejemplo, al portar Job Simulator, comenzamos a pensar en los momentos adecuados para utilizar interacciones a nivel de sistema operativo. Cuando instalamos una ventana de SwiftUI para la versión Apple Vision Pro, debatimos cuándo usar el pellizco. Realmente seguimos cómo lo usa Apple porque son extremadamente específicos sobre cuándo usarlo y para qué usarlo.

Cuando no estás interactuando con una ventana, estás interactuando con un objeto 3D. En este punto, debes dejar de pensar en ello como una aplicación en un monitor 2D y más como un diseño de producto físico para un objeto del mundo real. Diseñar objetos de forma intuitiva, siguiendo los principios del diseño de objetos del mundo real. Asegúrate de probar continuamente tu experiencia de usuario y ten en cuenta que lo único que cuenta es cuando el juego realmente se prueba con usuarios reales en un espacio real, en un dispositivo. Tienes que hacer el trabajo.

Es fundamental que lo tengas en tus manos y que otros interactúen con él. Recomiendo dedicar suficiente tiempo a la modificación. La experiencia puede ser diferente en distintas plataformas. Las especificaciones pueden variar y es importante ser flexible.

Por último, lo especial de la realidad virtual es cómo explorarla. Nuestra versión de exploración incluye sentarnos en un escritorio que tiene cajones cerrados y hurgar en él. Es increíblemente interesante recoger cada objeto y ver cómo funciona e interactúa. Una de las razones principales por las que los jugadores prefieren esta interacción es porque ponemos cosas en sus manos y les permitimos realmente jugar con el mundo que los rodea y descubrir cómo es ese mundo. No les estamos obligando a interactuar con algo que esté lejos o de lo que estén desconectados.

Avanzando más detalladamente en consejos para la computación espacial, ¿qué consejo le darías a los desarrolladores que buscan portar o desarrollar juegos para Apple Vision Pro? ¿Cómo ha sido tu experiencia al utilizar el soporte de visionOS de Unity al portar Job Simulator?

Hemos estado trabajando en estrecha colaboración con Unity y Apple, y alineándonos para encontrar la mejor manera de hacer realidad nuestras esperanzas y nuestra visión. Conseguimos que Job Simulator funcionara muy rápidamente en Apple Vision Pro y lo usamos de forma similar a la construcción en iOS. Una de las cosas que nos llevó algo de tiempo resolver fue convertirlo en un juego completamente inmersivo. Unity tuvo que llamar a una función que comunicara nuestra salida deseada al sistema operativo de Apple. Antes de hacerlo, nos encontrábamos con una ventana plana y, si la cerrábamos, el juego terminaba.

Estábamos desarrollando un juego completamente inmersivo y, al ser un sistema operativo informático general, salir de un juego es algo nuevo para nosotros. Al desarrollar el juego para PC, nunca tuvimos el segundo paso de salir de la aplicación, ya que el jugador puede simplemente presionar la X. Cuando lo pusimos en Quest, era realmente binario y el juego se ejecutaba o no. De repente, en Apple Vision Pro, estábamos en este dispositivo donde el juego puede pasar a segundo plano y necesitábamos hacer el trabajo de descubrir cómo salir de la aplicación.

Mi consejo es que seáis realmente colaborativos y abiertos. Nunca se sabe cuándo alguien tendrá la solución al problema que estás experimentando. No sólo es bueno para ti, sino para la comunidad en su conjunto. Somos extremadamente activos en los foros de discusión, abriendo tickets y hablando con Unity. Nos ayuda a encontrar soluciones que también beneficien al resto de la comunidad. Enviar informes de errores allí nos ha brindado la oportunidad de trabajar con otros desarrolladores que se encuentran en situaciones similares. Definitivamente acelera nuestra curva de aprendizaje y es fundamental para ayudarnos a avanzar en el desarrollo.

Me encantaría terminar esta entrevista con una última pizca de inspiración y conocimiento para nuestra comunidad. ¿Cuál es lo más valioso que aprendiste sobre el desarrollo de visionOS y que aplicarás en tu próximo proyecto con Apple Vision Pro?

Hemos existido en dos ecosistemas durante años: Windows PC y Android. Al pasar al desarrollo de visionOS, que comparte muchas similitudes con otros sistemas operativos de Apple, aprendimos en qué puntos habíamos hecho suposiciones y nos habíamos apoyado un poco más en el sistema operativo de una manera potencialmente incorrecta. Descubrimos dónde podríamos haberlo hecho mejor.

Otro aspecto clave a tener en cuenta es el valor de Facetime y de compartir tu pantalla para mostrarle a otras personas lo que estás experimentando, por ejemplo, para depurar errores. Esa pantalla es tu aplicación ejecutándose, tu código ejecutándose y otros pueden ver tu vista perfectamente. Esto es algo que resulta notoriamente difícil de hacer para otros auriculares, y Apple Vision Pro lo hace sin esfuerzo. Ése sería mi consejo rápido.

¿Quieres saber más? Lea nuestra nueva Informe de juegos de Unity 2024 y consulte esta lista de reproducción de videos, donde los creadores expertos analizan las tendencias de desarrollo de juegos más importantes de este año.

Si está listo para sumergirse en el soporte de Unity para Apple Vision Pro, puede obtener sugerencias de otros desarrolladores que desarrollan para Apple Vision Pro y compartir sus comentarios en el foro de discusión de AR/VR/XR.