Un regard sur l'informatique spatiale avec Owlchemy Labs

Nous entrons dans la nouvelle ère de l'informatique spatiale, où des outils robustes de réalité étendue (XR) et des flux de travail flexibles peuvent permettre aux développeurs d'ajouter des interactions, de redimensionner les graphiques, de créer des prototypes et de tester dans l'éditeur. Dans leRapport 2024 sur les jeux Unitynous prévoyons une plus grande demande pour les jeux XR, et de nombreux studios participants sont d'accord avec cette prévision.

Antonia Forster, conseillère principale d'Unity, s'est entretenue avec Andrew Eiche, PDG d'Owlchemy Labs, pour connaître son point de vue sur l'avenir de l'informatique spatiale et obtenir des conseils pratiques sur le développement pour Apple Vision Pro.

Antonia Forster : Bonjour Andrew, merci de me rejoindre. Commençons par regarder vers l'avenir. Quel est, selon vous, l'avenir de la RV et de l'informatique spatiale ?

Andrew Eiche : L'une des principales évolutions consiste à utiliser les appareils XR comme environnement informatique spatial général pour des tâches spécifiques à un domaine, avec Apple Vision Pro et les changements apportés au système d'exploitation Meta. Nous essayons de résoudre le paradigme de la charge de travail générique dans la RV par rapport à une charge de travail extrêmement spécifique.

À quoi cela ressemble-t-il lorsque nous voulons réellement travailler dans le domaine de la radioprotection ? Nous essayons de prendre des tâches existantes et de les transférer à un paradigme identique dans un environnement spatial. J'espère que les développeurs s'installeront rapidement et que nous pourrons comprendre l'ampleur et la profondeur de ce média.

Il est très important pour nous de le faire afin de découvrir l'utilité et l'intuitivité de la technologie. Dans ce secteur, les plateformes se situent sur un spectre de ces marqueurs, et celles qui ont le plus grand potentiel d'adoption se situent dans le quadrant de la grande utilité et de la grande intuitivité. Avec la RV, nous voulons nous assurer qu'elle évolue dans cette direction : très utile et très intuitive, le quadrant dans lequel se situent les téléphones, les PC et les téléviseurs intelligents.

Pour ce qui est de l'avenir, la réflexion sur l'informatique spatiale contribue à rendre la RV plus utile, mais nous devons encore travailler sur son accessibilité. Comment procéder ? Nous modifions le vecteur d'entrée principal pour l'aligner sur la plateforme la plus utilisée par les joueurs : le mobile. À partir de là, nous devons nous concentrer sur la suppression des frictions liées à la mise en œuvre du suivi des mains, sur l'allègement des casques et sur l'amélioration de l'optique.

Vous avez parlé de l'évolution de la technologie. Quelles sont les autres tendances technologiques qui, selon vous, pourraient avoir un impact sur la radiologie au cours des prochaines années ?

L'éclatement gaussien est incroyable, et je pense que la prochaine étape consistera à améliorer la capture et l'animation. Nous avons résolu le mauvais problème avec la capture tridimensionnelle, en partant du principe qu'il suffisait de couvrir l'espace et les caméras ou d'utiliser des champs lumineux pour obtenir de bons résultats, alors qu'il existe quelque chose qui fonctionne tout simplement mieux, comme une gaussienne transparente. Je pense que nous allons assister à une forte poussée dans ce domaine et dans la recherche d'une optimisation.

Je pense également que l'IA aura une influence. L'un des cas d'utilisation les plus intéressants que j'attends est celui où nous n'aurons pas besoin de rendre l'ensemble de l'image, mais seulement une partie. Et si nous faisions un rendu de 30 %, puis que nous le transmettions à une unité de traitement Tensor (TPU), qui le remplirait en se basant sur toutes les données dont elle dispose avant et après ? Soudain, la puce graphique qui se trouve dans notre casque est désormais compatible avec un PC. C'est littéralement la façon dont les réflexions fonctionnent pour NVIDIA RTX™, nous sommes donc déjà sur cette voie.

Il y a aussi l'IA qui comble les lacunes de la peinture au poids, ou l'IA générative qui remplace potentiellement un algorithme de meilleure adéquation en tant que transition. Un algorithme d'ajustement optimal dispose de pièces à construire, et si l'ajustement optimal se situe à mi-chemin entre les pièces, l'utilisation de l'IA générative pour déplacer le curseur à mi-chemin est intéressante, utile et contrôlée par l'artiste. Cette option est idéale pour les animateurs qui souhaitent se concentrer sur les poses clés et ne pas perdre de temps à faire des effets de bascule. L'IA peut aider à cela, puis l'animateur peut intervenir et nettoyer le tout.

Merci pour vos conseils ! Compte tenu de l'évolution de l'espace XR, que conseillez-vous aux développeurs qui entrent dans l'ère de l'informatique spatiale ?

Du point de vue de la conception des interactions, il faut décomposer la manière dont on interagit avec quelque chose et ne pas essayer de faire entrer une cheville carrée dans un trou rond. Il est tentant pour les développeurs de se jeter à l'eau, mais en tant que nouveau développeur, je recommande d'aborder l'informatique spatiale lentement. Prenez le temps d'empiler les bons éléments.

Par exemple, lors du portage de Job Simulatornous avons commencé par réfléchir aux moments opportuns pour utiliser les interactions au niveau du système d'exploitation. Lorsque nous avons créé une fenêtre SwiftUI pour la version Apple Vision Pro, nous nous sommes demandé quand utiliser le pincement. Nous avons vraiment suivi la façon dont Apple l'utilise, car ils sont extrêmement précis sur le moment de l'utiliser et sur l'objet de son utilisation.

Lorsque vous n'interagissez pas avec une fenêtre, vous interagissez avec un objet 3D. À ce stade, vous devez cesser de penser à une application sur un écran 2D et vous rapprocher de la conception d'un produit physique pour un objet du monde réel. Concevoir des objets de manière intuitive, en suivant les principes de conception d'objets du monde réel. Veillez à tester en permanence votre expérience utilisateur et réalisez que la seule chose qui compte est que le jeu soit testé avec de vrais utilisateurs dans un espace réel, sur un appareil. Vous devez faire le travail.

Il est essentiel que vous l'ayez entre les mains et que d'autres personnes interagissent avec lui. Je recommande de prévoir beaucoup de temps pour les modifications. L'expérience peut être différente d'une plateforme à l'autre. Les spécifications peuvent varier et il est important d'être flexible.

Enfin, la particularité de la RV réside dans la manière de l'explorer. Notre version de l'exploration consiste à s'asseoir à un bureau dont les tiroirs sont fermés et à fouiller dedans. Il est incroyablement intéressant de prendre chaque objet et de voir comment il fonctionne et interagit. L'une des principales raisons pour lesquelles les joueurs préfèrent cette interaction est que nous mettons des objets entre leurs mains et que nous leur permettons de jouer avec le monde qui les entoure et de découvrir à quoi il ressemble. Nous ne les faisons pas interagir avec quelque chose d'éloigné ou de déconnecté.

Pour aller plus loin dans les conseils en matière d'informatique spatiale, quels sont les conseils que vous donneriez aux développeurs qui souhaitent porter ou développer des jeux pour l'Apple Vision Pro ? Quelle a été votre expérience de l'utilisation du support visionOS d'Unity lors du portage de Job Simulator?

Nous avons travaillé en étroite collaboration avec Unity et Apple, et nous nous sommes mis d'accord sur la meilleure façon de donner vie à nos espoirs et à notre vision. Nous avons fait fonctionner Job Simulator très rapidement sur Apple Vision Pro et l'avons utilisé de manière similaire à la construction dans iOS. L'une des choses qui a pris du temps à résoudre était de rendre le jeu totalement immersif. Unity devait appeler une fonction qui communiquerait le résultat souhaité au système d'exploitation Apple. Auparavant, nous rencontrions toujours une fenêtre plate, et si vous la fermiez, le jeu se terminait.

Nous développions pour un jeu totalement immersif et, s'agissant d'un système d'exploitation informatique général, sortir d'un jeu est une nouveauté pour nous. En construisant pour PC, nous n'avons jamais eu la deuxième étape qui consiste à quitter l'application, puisque le joueur peut simplement appuyer sur X. Lorsque nous l'avons mis sur Quest, c'était vraiment binaire et le jeu fonctionnait ou ne fonctionnait pas. Soudain, sur Apple Vision Pro, nous nous sommes retrouvés sur cet appareil où le jeu peut passer en arrière-plan, et nous avons dû faire le travail nécessaire pour trouver comment quitter l'application.

Mon conseil est de faire preuve d'une grande collaboration et d'une grande ouverture. Vous ne savez jamais quand quelqu'un aura la solution à un goulot d'étranglement que vous rencontrez. Ce n'est pas seulement bon pour vous, mais aussi pour la communauté dans son ensemble. Nous sommes extrêmement actifs sur les forums de discussion, en ouvrant des tickets et en discutant avec Unity. Cela nous aide à trouver des solutions qui profitent également au reste de la communauté. Le fait d'y soumettre des rapports de bogues nous a permis de travailler avec d'autres développeurs qui se trouvaient dans des situations similaires. Il accélère incontestablement notre courbe d'apprentissage et nous aide à faire progresser le développement.

J'aimerais terminer cet entretien par une dernière pépite d'inspiration et de réflexion pour notre communauté. Quelle est la chose la plus précieuse que vous ayez apprise sur le développement de visionOS et que vous appliquerez à votre prochain projet Apple Vision Pro ?

Depuis des années, nous existons dans deux écosystèmes : Windows PC et Android. En passant au développement de visionOS, qui partage de nombreuses similitudes avec d'autres systèmes d'exploitation Apple, nous avons appris à quels endroits nous avions fait des suppositions et nous nous étions appuyés un peu plus sur le système d'exploitation d'une manière potentiellement incorrecte. Nous avons déterminé les domaines dans lesquels nous aurions pu faire mieux.

Il convient également de garder à l'esprit l'intérêt de Facetime et de partager son écran pour montrer à d'autres personnes ce que l'on vit - par exemple, pour le débogage. Cet écran est votre application en cours d'exécution, votre code en cours d'exécution, et d'autres personnes peuvent parfaitement voir votre vue. C'est une chose que les autres casques ont du mal à faire, et Apple Vision Pro le fait sans effort. Ce serait mon conseil le plus rapide.

Vous voulez en savoir plus ? Lisez notre nouveaurapport sur les jeux Unity (2024) et regardez cette playlist vidéo, où des créateurs experts discutent des plus grandes tendances en matière de développement de jeux de cette année.

Si vous êtes prêt à vous plonger dans la prise en charge d'Apple Vision Pro par Unity, vous pouvez obtenir des conseils d'autres développeurs qui développent pour Apple Vision Pro et partager vos commentaires sur le forum de discussion AR/VR/XR..