Comment Kluge Interactive a porté Synth Riders sur Apple Vision Pro

Synth Riders, un jeu de rythme immersif, a été lancé sur Steam VR et Meta Quest en 2019, et il a depuis été porté sur de nombreux appareils, notamment l'Apple Vision Pro. Voici ce que l'équipe a appris en développant une expérience de réalité mixte pour visionOS.

Comment un studio peut-il réimaginer un titre bien-aimé pour Apple Vision Pro en fusionnant son esthétique cyberpunk avec le design minimaliste et coloré d'Apple ?

Apple Vision Pro étant une plate-forme nouvelle et évolutive, l'équipe de Kluge Interactive était consciente des obstacles potentiels auxquels elle était confrontée et savait qu'elle devrait s'adapter pour réussir. Leur objectif principal était de respecter le délai de lancement de la plateforme le premier jour et de peaufiner leur jeu pour qu'il réponde aux normes les plus strictes avant les avant-premières médiatiques.

Se préparer à un nouveau défi

"Notre équipe a toujours été optimiste en ce qui concerne la technologie. L'opportunité de développer pour Apple Vision Pro est arrivée au bon moment, car nous voulions amplifier l'aspect visuel de Synth Riders et nous étions en train de redessiner l'interface utilisateur du jeu", déclare Arturo Perez, directeur général de Kluge Interactive.

Toute sortie de Synth Riders s'accompagne de défis spécifiques à la plate-forme. Une fois que l'équipe a décidé d'opter pour un nouveau portage ou, dans ce cas, de réimaginer le jeu pour un nouveau support, elle a commencé à se préparer à travailler avec le matériel. Au cours de l'année et demie écoulée, l'équipe a sorti des portages pour PlayStation VR2 et PlayStation 3, puis s'est rapidement lancée sur Apple Vision Pro.

"Les 12 à 18 derniers mois de développement du jeu ont été consacrés au remboursement de la dette technique et au rapprochement de nos outils de la LTS 2022", explique AnnMarie Wirrel Bartholomaeus, productrice technique chez Kluge Interactive. "Nous sommes déjà passés du Built-in Render Pipeline à l'Universal Render Pipeline (URP), et avons adopté un backend OpenXR. Cela nous a permis de nous placer dans une position technique bien meilleure pour travailler avec les nouvelles technologies".

En outre, ils ont utilisé une approche plus modulaire et ont fait un effort concerté pour découpler le gameplay des graphiques et de l'entrée. Lorsqu'ils lançaient un nouveau portage, ce paquet "Core" gérait des éléments tels que le chargement de la musique, la génération de menus et la mise en place de notes et de rails interactifs dans le jeu. Cette gestion a permis à l'équipe de se concentrer sur la manière dont ces données se manifestaient sur la plate-forme spécifique afin d'obtenir l'aspect et la convivialité souhaités.

Bartholomaeus déclare : "Plus nous voulions explorer différents concepts de ce qu'est Synth Riders, plus la séparation de ces morceaux a été fantastique. Nous avons utilisé le Core pour avancer avec Synth Riders pour Apple Vision Pro, et il nous a été extrêmement utile".

Les résultats

• Création d'une nouvelle version de leur jeu de rythme pour le lancement de l'Apple Vision Pro dès le premier jour.
• Économiser le coût de l'embauche d'une équipe complète de plus de 15 artistes, développeurs et autres, spécifique à la plateforme.
• A reçu une note moyenne de 4,7/5 sur Apple Vision Pro

Concevoir une interface utilisateur réactive

Lorsque l'équipe de Kluge Interactive a commencé à retravailler l'interface utilisateur pour Apple Vision Pro, elle s'est rapidement rendu compte qu'Apple prescrivait la façon de cliquer sur les choses et l'aspect d'un bouton standard. Les données d'oculométrie n'étant pas directement exposées aux développeurs, ils ont dû s'adapter et résoudre des problèmes pour créer une interface utilisateur fonctionnelle qui respecte toutes les règles.

Sans accès aux données d'oculométrie, une solution personnalisée était hors de question. Afin de bien fonctionner avec le système de mise en évidence intégré d'Apple Vision Pro, ils ont recréé l'intégralité de leur interface utilisateur en 3D.

"L'utilisation d'une interface utilisateur standard basée sur un canevas pourrait fonctionner, mais nous avons rencontré des difficultés liées à la superposition de différentes couches transparentes", explique Miguel Mosquera, développeur chez Kluge Interactive. "Le problème principal était la forme carrée qui mettait en évidence la toile, l'image et les éléments 2D. Ce n'était pas esthétique et la mise en valeur ne correspondait pas à l'objet". L'équipe est passée à une interface utilisateur 3D pour éviter ce problème, car les éléments 3D utilisent un maillage carré et une texture alpha pour les aider.

La recréation de l'interface utilisateur en 3D a permis de faire correspondre les points forts du regard à la forme des boutons, mais cela n'a pas suffi à rendre l'interface utilisateur naturelle sur la plateforme. L'effet de surbrillance était toujours une douce lueur blanche autour des bords de la silhouette d'un objet, et les concepteurs de menus devaient en tenir compte. Par exemple, ils ont évité les couleurs claires et les bordures en blocs au profit de dégradés plus doux avec des couleurs plus foncées.

Bien que cela ait ajouté un flux de travail complet et distinct pour l'équipe, celle-ci a adopté le nouveau processus et est très satisfaite des résultats dans l'ensemble. Perez déclare : "Cela en valait la peine. L'interface utilisateur est beaucoup plus propre que sur les autres appareils".

Créer des effets performants

L'équipe a essayé les méthodes Replicate Properties et Bake to Mesh pour ajouter des effets Shuriken Unity à son projet PolySpatial. Pour l'option Répliquer les propriétés, les propriétés du système de particules Unity sont appliquées à un système de particules natif dans Xcode. Grâce à la méthode Bake to Mesh, la sortie du système de particules Unity est convertie en un maillage standard. Ce dernier était beaucoup plus gourmand en ressources, mais il prenait en charge un plus grand nombre de fonctionnalités qui ne pouvaient pas être reproduites avec un système de particules natif.

L'équipe a estimé que la reproduction des propriétés était la meilleure option en général, mais elle a finalement opté pour l'option Bake to Mesh. "Les traînées de particules étaient une fonctionnalité indispensable que notre artiste 3D voulait absolument utiliser pour créer des effets visuels audio-réactifs pour le jeu, ce qui n'était pas possible avec l'option Replicate Properties", explique Justin Dopiriak, développeur senior chez Kluge Interactive.

L'option Bake to Mesh était assez éprouvante, et certains des systèmes de particules utilisés à l'écran étaient très coûteux. "Nous avons poussé le système jusqu'à ses limites et il était intéressant d'essayer d'identifier l'origine des problèmes de performance", poursuit M. Dopirak. "Une fois que nous avons localisé et résolu les problèmes, nous avons découvert que l'utilisation de sommets purs était une bonne solution.

Comme il fallait à chaque fois intégrer un effet dans le maillage, le nombre de vertex avait un impact beaucoup plus important que sur d'autres plates-formes. Afin de gérer les frais généraux et d'optimiser les économies de ressources, ils ont été très attentifs à ce qu'ils s'autorisaient à utiliser. L'effet global sur la fidélité visuelle était négligeable. "Lorsque nous nous sommes montrés plus disciplinés dans tous les domaines et dans la manière dont nous nous sommes limités, nous avons obtenu un équivalent presque parfait", conclut M. Dopiriak.

Eclairage de la scène

Pour créer des shaders et des éclairages, l'équipe s'est tournée vers les outils et la documentation d'Unity PolySpatial. Ils ont découvert de nouveaux nœuds spécifiquement conçus pour visionOS, utiles en l'absence d'éclairage dans le simulateur, ainsi qu'une liste de nœuds indiquant si chacun d'entre eux était compatible avec la plateforme. Cela s'est avéré utile lors de la conversion des espaces tangents, de la gestion des sondes de réflexion et des directions de vue, et de la gestion de la cartographie normale.

L'équipe a utilisé le nœud d'éclairage PolySpatial comme nœud de sortie principal et a tout mis en place. La couleur de base, la couleur normale, la couleur métallisée et la douceur sont restées les mêmes.

"Il a agi comme un shader à deux passes, car du côté de PolySpatial, le côté d'Apple Vision Pro, le casque a ajouté des reflets de notre environnement et un peu d'éclairage en fonction des retours que la caméra a reçus", explique Esteban Meneses, un artiste 3D. "L'éclairage PolySpatial a géré tout ce que nous savions que le moteur avait à l'intérieur, et il y avait des options pour l'éclairage au four. Nous avons débattu de l'utilisation de cartes lumineuses et de sondes lumineuses, qui se sont toutes deux révélées très utiles.

Pour les questions de réflexion, l'équipe a eu accès à des options simples et mixtes. À partir de là, ils ont branché tout ce qui provenait du nœud d'éclairage PolySpatial sur la couleur de base et l'émission pour être sûrs.

"Certains laissez-passer utilisent la couleur de base et nous ne voulions pas qu'elle soit noire", poursuit M. Meneses. "J'ai ajouté un modificateur d'intensité pour augmenter les valeurs et gagner en liberté artistique. J'ai utilisé la variable de réflexion d'Apple Vision Pro et j'ai désactivé l'occlusion ambiante dans le nœud final, de sorte que nous ne voyions pas les reflets de l'environnement". Ce contrôle de la réflectivité a permis à l'équipe de diviser son jeu entre les objets qui semblaient être dans la pièce avec l'utilisateur et ceux qu'il voyait à travers un portail.

Le suivi des mains à l'essai

Lorsque l'équipe a commencé à réimaginer le jeu, elle a fait sa première véritable incursion dans le suivi des mains. Bien qu'ils aient d'abord hésité sur l'absence d'haptique, ils ont adoré les résultats. "En général, lorsque vous tenez un contrôleur, votre main s'arrête au poignet, mais avec le suivi de la main, vos doigts deviennent importants et vous pouvez faire des gestes et interagir avec la musique d'une manière différente. Cela a donné une nouvelle dimension au jeu", explique Bartholomaeus.

Sans contrôleurs, ils se sont adaptés à un nouveau mode d'entrée. Ils devaient également combler le manque de connexion entre le joueur et l'haptique d'une manière non intrusive. Bartholomaeus explique : "Nous avons travaillé sur des effets audio réactifs, des éclairages et différentes particules qui ont favorisé la connexion avec la chanson en fonction de leur action. L'interaction avec les rails a été particulièrement importante".

L'équipe s'est appuyée sur la documentation de la plateforme pour s'informer sur les décalages de squelette avec Apple Vision Pro qui n'existent pas sur d'autres plateformes. En ce qui concerne le gameplay, ils ont suivi le poignet comme seul point d'extrapolation. Comme ils ont choisi un mélange de suivi de la main pour les éléments de jeu et de tapotement spatial pour tout le reste, ils n'ont pas fait de gestes personnalisés. "Nous avons tiré parti de ce que le système d'exploitation nous offrait. J'encourage les gens à l'utiliser. Il était vraiment performant", déclare Bartholomaeus.

Rendu et optimisation des performances

L'équipe a également dû apprendre un nouveau processus de rendu. Pour les autres plateformes, ce qu'ils créaient était généralement rendu directement dans Unity, mais avec visionOS, il y avait une deuxième étape dans RealityKit. L'un des principaux défis que l'équipe a relevés était de ne pas utiliser de Line Renderer, un composant qui prend un tableau de deux points ou plus dans l'espace 3D et dessine une ligne droite entre eux. Ce composant a été un atout majeur pour l'équipe pour leur système de rail sur d'autres versions de Synth Riders.

"Lorsque nous avons rencontré cet obstacle, l'équipe d'Unity PolySpatial a été fantastique pour réfléchir avec nous", déclare Bartholomaeus. "Pour les rails, une fonctionnalité qui n'était pas encore prise en charge sur la plateforme, ils ont suggéré à notre artiste technique de les recréer à partir de zéro avec un maillage standard et un déplacement de vertex, ce qui a très bien fonctionné".

En ce qui concerne l'optimisation des performances, l'une des principales leçons qu'ils ont apprises est qu'il ne faut pas faire d'hypothèses sur la base de leur expérience avec d'autres plateformes. Alors que l'équipe parcourait l'ensemble du jeu, testant des pistes d'optimisation pour accélérer les performances pièce par pièce, elle a découvert que les solutions qui avaient réduit l'impact de l'instanciation des matériaux dans l'URP sur d'autres plateformes ne s'appliquaient pas à l'Apple Vision Pro. "Une fois le problème identifié, nous avons modifié quelques lignes de code. C'était une solution facile à mettre en œuvre et l'amélioration a été spectaculaire", explique M. Dopiriak.

L'équipe a également débogué les performances en utilisant le profileur Unity, le débogueur Xcode et la fonction Play to Device. "Au début, il était difficile de tester et de trouver les problèmes", explique M. Mosquera. "La fonction Play to Device nous a aidés à localiser les problèmes plus rapidement et, sans elle, la réalisation du projet aurait pris plus de temps."

Passer au niveau supérieur

Depuis sa création en tant que studio de conception en 2007, Kluge Interactive a adopté les technologies émergentes et essayé de nouvelles choses. Bien que Synth Riders en soit à sa cinquième année d'existence, l'équipe prévoit une longue série de nouveaux contenus, et elle a l'intention de développer activement des fonctionnalités et d'améliorer la relation visuel-musique sur Apple Vision Pro.

"Le design fait partie intégrante de notre ADN, c'est pourquoi nous avons continué à nous inspirer de l'intention qui a présidé à l'élaboration de cet appareil et de son système d'exploitation. Je sais que nous pouvons aller plus loin et je suis impatient de voir ce qui nous attend", déclare M. Perez.

Construire pour Apple Vision Pro aujourd'hui

Parlez à notre équipe pour savoir comment nous pouvons vous aider à tirer parti des puissants outils et flux de travail d ' Unity pour créer des expériences spatiales convaincantes.