Wie Kluge Interactive die VR Gestenerkennung in FINAL FURY verbessert hat

Kluge Interactive entwickelt seit 2008 immersive Spiele. Ihr Vorzeigetitel „Synth Riders“, ein VR-Rhythmusspiel, wurde 2018 veröffentlicht, und das Team hat die letzten sieben Jahre damit verbracht, einen stetigen Strom von Musikpaketen zu liefern. Diese unterhaltsamen Inhaltsaktualisierungen haben das geistige Eigentum in die Stratosphäre von A-Listen-Musikern und landesweiten Sportveranstaltungen erhoben.

Das Team hat keine Pläne, langsamer zu werden. Sie kombinierten ihre VR Erfahrung und ihre Leidenschaft für Kampfspiele zu FINAL FURY. Der Multiplayer Titel kombiniert klassische Kampfspielmechaniken mit tatsächlichen Kämpfen. Die Spieler lassen jeden Schlag zählen, entweder durch Sparring im Alleingang oder durch Herausforderung der Besten der Galaxis.

Wir sprachen mit Rob Alvarez, dem Produzenten von FINAL FURY, und David Montesdeoca, dem leitenden Programmierer des Spiels, darüber, wie das Team Immersion und Geschwindigkeit in Einklang bringt, um ein VR Kampfspiel der nächsten Generation zu entwickeln.

Wie würden Sie FINAL FURY beschreiben?

Rob Alvarez: Das Konzept hinter FINAL FURY entstand aus einer tiefen Liebe zu klassischen Arcade-Kampfspielen, die durch die Linse moderner VR-Technologie neu erfunden wurden. Von Anfang an haben wir uns immer wieder eine Kernfrage gestellt: „Wie können wir jede Aktion, vom Schlagen bis zum Ausweichen vor Angriffen, so real und intim wie möglich erscheinen lassen?“

Die Umsetzung dieser Vision in ein vollständig spielbares Erlebnis brachte einige Herausforderungen mit sich, insbesondere die richtige Balance zwischen der immersiven Natur von VR und den intensiven, rasanten Kämpfen, die das Genre bestimmen. Früh war es nicht einfach, diese Mechaniken an VR anzupassen, aber durch ständige Iteration haben wir schließlich den Sweet Spot gefunden.

Wie kann das einzigartige Kamerasystem des Spiels die Immersivität des Gameplays steigern?

David Montesdeoca: FINAL FURY nutzt ein modulares Multi-Kamera-System, das speziell für die Unterstützung der Immersion über verschiedene Gameplay-Zustände, Perspektiven und Spielererfahrungen hinweg entwickelt wurde.

Wir unterstützen mehrere Kameratypen: First-Person-, Third-Person-, Zuschauer-, 2D- und eine „Out of Body“-Kamera, die in filmischen Momenten wie Griffen oder Situationen verwendet wird, in denen der Spieler keine Kontrolle hat. Anstatt diese Systeme als isolierte Systeme zu behandeln, haben wir einen vereinheitlichten Kameraservice entwickelt, der sie entweder als eine einzige logische Entität oder als separate Kameras verwaltet, wenn spezifische Effekte benötigt werden.

So funktioniert es:

• Jede Kamera wird von einem gemeinsamen Ereignissystem gesteuert, kann aber wählen, ob und wie sie auf Ereignisse reagiert. Wenn beispielsweise ein Griff ausgelöst wird, können sowohl die First-Person- als auch die „Out of Body“-Kamera Effekte aktivieren, allerdings auf unterschiedliche Weise.
• Das System ist datengesteuert und hochgradig skalierbar. Wir können neues Kameraverhalten hinzufügen, ohne andere Systeme zu beeinträchtigen oder eine spezielle Logik zu benötigen.
• Wir teilen die Welt in drei visuelle Hauptebenen: HMD, 3rdPerson und HMDAnd3rd. Dadurch können wir die Sichtbarkeit steuern, indem wir Objektebenen während der Laufzeit verschieben und einige Elemente nur in First-Person-Ansichten erscheinen lassen, während sie aus Third-Person- oder Filmperspektive ausgeblendet werden.

Mit diesem Setup können wir die Spieleragentur in VR (Schläge werfen und Gesten und Kräfte aus der First-Person-Perspektive ausführen) mit mehr filmischen Auszahlungsmomenten ausbalancieren, die bei externer Betrachtung überzeugender sind.

Warum war die Perfektionierung der Kampfgesten so wichtig?

Rob: Kampfgesten sind das Herzstück unserer immersiven Kampferfahrung. FINAL FURY ist zwar ein Liebesbrief an alles, was wir an klassischen Arcade-Kampfspielen lieben, aber es ist auch eine Herausforderung, den Spielern das Gefühl zu geben, in der Arena zu sein und den Kampf zu führen.

Wie hat das Team das gestenbasierte Steuerungssystem implementiert?

David: Die Gestenerkennung war einer der technisch und kreativ anspruchsvollsten Aspekte des Designs von FINAL FURY. Unser Ziel war es schon immer, dass sich die Spieler wie Kämpfer fühlen, nicht nur jemand, der einen kontrolliert.

Die wichtigsten Bestandteile unseres Systems sind:

• Eingabeverfolgung: Im Kern haben wir ein leichtes System entwickelt, das kontinuierlich die Position und Orientierung jeder Hand relativ zu einem zentralen Referenzpunkt verfolgt. Er befindet sich normalerweise am Kopf des Spielers (Schwerpunkt). Dies hilft uns, Eingaben zu normalisieren und die Kopfbewegung oder Körperorientierung als Variablen zu minimieren, die die Genauigkeit der Gestenerkennung beeinflussen könnten.
• Gesten-Hilfsprogramme: Wir verwenden eine Reihe von einfachen mathematischen Dienstprogrammen, um Muster wie „Bewegt sich die Hand vorwärts?“ oder „Befindet sich die Hand auf der linken Seite einer Erkennungszone?“ zu erkennen.
• ActionTrigger-System: Wir definieren komplexe Gesten über sogenannte ActionTrigger. Jeder ActionTrigger hört mit unseren Dienstprogrammen auf bestimmte Gestensequenzen.
• Der Erkennungsprozess umfasst ein Zustandssystem mit drei möglichen Zuständen:
• Gescheitert: Eingabe entspricht nicht den Anforderungen
• Teilweise: Geste scheint richtig zu starten
• Abschließen: Geste wurde erfolgreich ausgeführt

Der Teilzustand ist sehr wichtig, da er uns hilft, Gesten kontextabhängig zu priorisieren, dem Spieler Echtzeit-Feedback zu geben, damit er weiß, dass er auf dem richtigen Weg ist, und die Absicht an seine Gegner telegrafiert.

Hier ist ein Beispiel dafür, wie unsere „Grab-Geste“ funktioniert:

1. Das System prüft, ob beide Hände weit voneinander entfernt und symmetrisch zu beiden Seiten des Massenschwerpunkts positioniert sind. Dies löst den Teilzustand aus (den „Start des Greifvorgangs“)
2. Bringt der Spieler seine Hände schnell zusammen, ist die Geste abgeschlossen und die Aktion brennt
3. Wenn die Bewegung zu langsam oder inkonsistent ist, geht das System in den Failed-Zustand über und die Geste wird abgebrochen.

Dieser Ansatz hat es uns ermöglicht, flüssigen Input mit präzisen Aktionen zu kombinieren, und wir verfeinern ihn weiterhin auf der Grundlage des Feedbacks der Community.

Wie kam Unity in die Mischung?

Rob: Ganz ehrlich, es war nicht einmal eine Frage unsererseits. Unsere Teams verwenden Unity seit Jahren für Synth Riders und es war eine großartige Erfahrung. Es gibt uns die Möglichkeit, nahtlos plattformübergreifend zu arbeiten.

Die Engine ermöglicht es uns, eine breite Palette von Tools und Systemen zusammenzubringen, um bei der Entwicklung von FINAL FURY etwas Dynamisches und Reaktionsschnelles zu erstellen. Dadurch können wir relativ schnell iterieren, was für uns spannend ist. Es bietet uns die Flexibilität, neue Spielkonzepte mit minimalem Stress zu testen.

Das Plugin-Ökosystem von Unity war ein großer Vorteil. Tools wie NodeCanvas waren von unschätzbarem Wert für die Erstellung komplexer KI-Verhaltensweisen auf visuelle und modulare Weise. Wir nutzen auch den OpenXR-Support von Unity und die Integration ist überraschend reibungslos verlaufen. Es handelt sich praktisch um Plug-and-Play, was die VR-Entwicklung deutlich weniger schmerzhaft gemacht hat als erwartet.

Die integrierte Unterstützung von PlasticSCM in Unity hat uns geholfen, die richtige Balance zwischen Einfachheit und der Leistung zu finden, die wir für die Verwaltung der Codebasis unseres Projekts benötigen.

Das Team holte Pro-Spieler Justin Wong als Berater für das Spiel. Worum handelt es sich bei ihm?

Rob: Wir haben sehr öffentlich darüber diskutiert, wie notwendig es ist, die Ansätze zu ändern, während sich die anfängliche Entwicklung von FINAL FURY verlagert hat. Darauf gehen wir in unserem ersten FINAL FURY-Blog näher ein. Da wir tiefer in den Prozess eingestiegen sind, wollten wir sicherstellen, dass wir nicht nur auf dem richtigen Weg sind, sondern uns auch noch enger einwählen können. Wir wollten nicht nur den Spieler in die Rolle des Kämpfers versetzen, sondern auch das nutzen, was ein gutes kompetitives Kampfspiel ausmacht. Daher war es nur sinnvoll, Justin für seinen Beitrag zu kontaktieren.

In mehreren Spielsitzungen stiegen wir mit Justin in das Spiel ein, zeigten unsere Designs und hatten einige Matches. Sein Feedback über Auswucht- und Kampfmechaniken war wirklich wertvoll. Sie deckte in der Regel Bereiche ab, die nur ein erfahrener Kampfspielspieler vorbringen würde. Tatsächlich hat er uns dabei geholfen, Dinge zu sehen, die wir sonst nicht gehabt hätten, und sein Engagement hat dazu geführt, dass sich einige Mechaniken des Spiels viel besser anfühlen. Ich muss gestehen, er hat uns bei unserem eigenen Spiel geschlagen.

Wie geht es weiter bei FINAL FURY?

Rob: Wir haben große Pläne für das, was wir dem Spiel während des Early Access hinzufügen möchten. Das FINAL FURY-Team arbeitet kontinuierlich an neuen Ideen und Verbesserungen, die das Gameplay mit jedem Update weiter vorantreiben. Neue Kämpfer, neue Arenen, neue Moves für alle Kämpfer hinzugefügt – das ist nur der Anfang. Einiges davon wird bereits erstellt, andere Funktionen werden tatsächlich von den Spielern übernommen.

Unser Entwicklerteam plant, sich den Kämpfen anzuschließen, sich anzuhören, was die Spieler sagen, und das Spiel weiter zu verbessern. Mit der Methode „release→play→listen→iterate“ haben wir Synth Riders bereits 2018 ausgeliefert und es hat für uns sehr gut funktioniert.

Unser Ziel ist es, die Referenz für Kampfspiele im Arcade-Stil in der Virtual Reality zu werden, und mit dem Einsatz unseres Teams sind wir zuversichtlich, dass wir das Realität werden lassen können.

Weitere Informationen zu Projekten Made with Unity finden Sie auf der Ressourcenseite von Unity.