Games

Ein Blick in die Zukunft der räumlichen Datenverarbeitung mit Owlchemy Labs

ADAM AXLER / Senior Content Marketing Manager
Apr 9, 2024|10 Min.
Ein Blick in die Zukunft der räumlichen Datenverarbeitung mit Owlchemy Labs
Diese Seite wurde maschinell übersetzt. Um die Originalversion zu sehen, damit Sie die Genauigkeit anhand der Quelle prüfen können,

Wir stehen am Beginn einer neuen Ära des Spatial Computing, in der robuste XR-Tools (Extended Reality) und flexible Workflows es Entwicklern ermöglichen, Interaktionen hinzuzufügen, Grafiken zu skalieren, Prototypen zu erstellen und im Editor zu testen. Im2024 Unity Gaming Berichtsagen wir eine größere Nachfrage nach XR-Spielen voraus, und viele der teilnehmenden Studios stimmen dieser Prognose zu.

Antonia Forster, Senior Advocate von Unity, hat sich mit Andrew Eiche, dem CEO von Owlchemy Labs, zusammengesetzt, um seine Sicht auf die Zukunft des Spatial Computing und praktische Tipps für die Entwicklung für Apple Vision Pro zu erfahren.

Antonia Forster: Hallo Andrew, danke, dass du dich mir anschließt. Lassen Sie uns zunächst einen Blick nach vorn werfen. Wie sehen Sie die Zukunft von VR und Spatial Computing?

Andrew Eiche: Eine der wichtigsten Entwicklungen ist die Verwendung von XR-Geräten als allgemeine räumliche Datenverarbeitungsumgebung für domänenspezifische Aufgaben, wobei Apple Vision Pro und die Änderungen am Meta-Betriebssystem den Weg weisen. Wir versuchen, das Paradigma zu lösen, wie man eine allgemeine Arbeitslast in VR im Gegensatz zu einer extrem spezifischen Arbeitslast bewältigen kann.

Wie sieht es aus, wenn wir tatsächlich in XR arbeiten wollen? Wir versuchen, bestehende Aufgaben zu übernehmen und auf ein identisches Paradigma in einer räumlichen Umgebung zu übertragen. Es bleibt zu hoffen, dass sich die Entwickler schnell eingewöhnen und wir in der Lage sein werden, die Breite und Tiefe dieses Mediums zu verstehen.

Das ist für uns sehr wichtig, damit wir den Nutzen und die Intuitivität der Technologie entdecken können. In dieser Branche fallen Plattformen entlang eines Spektrums dieser Marker, und die Plattformen mit dem größten Potenzial für die Übernahme landen im Quadranten mit hohem Nutzen und hoher Intuitivität. Mit VR wollen wir sicherstellen, dass sie sich in diese Richtung bewegt - hochgradig nützlich und hochgradig intuitiv, in den Quadranten, in den Telefone, PCs und Smart-TVs fallen.

Wenn wir in die Zukunft blicken, trägt das Nachdenken über räumliche Datenverarbeitung dazu bei, VR nützlicher zu machen, aber wir müssen noch an ihrer Erreichbarkeit arbeiten. Wie können wir das tun? Wir ändern den primären Eingabevektor, um ihn an die Plattform anzupassen, auf die sich die Spieler am meisten konzentrieren: das Handy. Danach müssen wir uns darauf konzentrieren, die Reibung zu beseitigen, indem wir Hand-Tracking implementieren, die Headsets leichter machen und eine bessere Optik entwickeln.

Gameplay von Job Simulator
Job-Simulator von Owlchemy Labs

Sie haben über die Entwicklung der Technologie gesprochen. Welche anderen Techniktrends könnten sich Ihrer Meinung nach in den nächsten Jahren auf XR auswirken?

Gaussian Splatting ist unglaublich, und ich denke, dass der nächste Schritt darin bestehen wird, eine bessere Erfassung und Animation zu entwickeln. Wir haben bei der dreidimensionalen Erfassung das falsche Problem gelöst, indem wir davon ausgingen, dass es großartig wäre, wenn wir den Raum und die Kameras einfach abdecken oder Lichtfelder verwenden würden, aber es gibt etwas, das einfach besser funktioniert, wie ein transparenter Gauß. Ich denke, wir werden einen großen Schub in diese Richtung erleben und herausfinden, wie wir sie optimieren können.

Ich glaube auch, dass die KI einen Einfluss haben wird. Einer der wirklich interessanten Anwendungsfälle, auf den ich warte, ist, wenn wir nicht das ganze Bild rendern müssen, sondern nur einen Teil davon. Wie wäre es, wenn wir 30 % rendern und dann an eine Tensor Processing Unit (TPU) weiterleiten, die sie dann auf der Grundlage aller Daten, die ihr vorher und nachher zur Verfügung stehen, einfach ausfüllt? Plötzlich ist der Grafikchip, der in unserem Headset steckt, PC-fähig. Das ist buchstäblich die Art und Weise, wie die Reflexionen bei NVIDIA RTX™ funktionieren, wir sind also bereits auf diesem Weg.

Es gibt auch KI, die die Lücken der Gewichtsmalerei füllt, oder generative KI, die einen Best-Fit-Algorithmus als Tweening ersetzen könnte. Ein Best-Fit-Algorithmus hat Teile, mit denen er bauen kann, und wenn die optimale Passform auf halbem Weg zwischen den Teilen liegt, ist die Verwendung generativer KI, um den Schieberegler auf halbem Weg zu verschieben, interessant und nützlich, und der Künstler hat die Kontrolle. Dies wäre ideal für Animatoren, die sich auf die Erstellung ihrer Key-Posen konzentrieren und keine Zeit mit Tweening verbringen möchten. Die künstliche Intelligenz könnte dabei helfen, und dann kann der Animator das Ganze bereinigen.

Vielen Dank für diesen Einblick! Was raten Sie Entwicklern, die in diese Ära des Spatial Computing einsteigen wollen, angesichts des Trends im XR-Bereich?

Vom Standpunkt des Interaktionsdesigns aus betrachtet, muss man die Art und Weise, wie man mit etwas interagiert, aufschlüsseln und nicht versuchen, einen eckigen Pflock in ein rundes Loch zu stecken. Für Entwickler ist es verlockend, sich sofort in die Materie einzuarbeiten, aber als neuer Entwickler empfehle ich, sich langsam an die räumliche Datenverarbeitung heranzutasten. Nehmen Sie sich Zeit, die richtigen Bausteine zu stapeln.

Zum Beispiel bei der Portierung von Job-Simulatorzu portieren, haben wir uns zunächst Gedanken darüber gemacht, wann wir Interaktionen auf Betriebssystemebene nutzen sollten. Als wir ein SwiftUI-Fenster für die Apple Vision Pro-Version einrichteten, diskutierten wir, wann wir Pinch verwenden sollten. Wir haben uns genau angeschaut, wie Apple es einsetzt, weil sie sehr genau festlegen, wann und wofür es eingesetzt werden soll.

Wenn Sie nicht mit einem Fenster interagieren, interagieren Sie mit einem 3D-Objekt. An diesem Punkt müssen Sie aufhören, das Ganze wie eine Anwendung auf einem 2D-Monitor zu betrachten, sondern eher wie ein physisches Produktdesign für ein reales Objekt. Entwerfen Sie Objekte auf intuitive Art und Weise, indem Sie die Prinzipien der realen Objektgestaltung befolgen. Stellen Sie sicher, dass Sie Ihre Benutzererfahrung kontinuierlich testen, und machen Sie sich klar, dass das Einzige, was zählt, ist, wenn das Spiel tatsächlich mit echten Benutzern in einem realen Raum und auf einem Gerät getestet wird. Sie müssen die Arbeit machen.

Es ist wichtig, dass Sie es in den Händen halten und dass andere damit interagieren. Ich empfehle, viel Zeit für Änderungen einzuplanen. Das Erlebnis kann sich auf verschiedenen Plattformen unterschiedlich anfühlen. Die Spezifikationen können variieren und es ist wichtig, flexibel zu sein.

Das Besondere an VR ist schließlich die Art und Weise, wie man sie erkunden kann. Unsere Version der Erkundung beinhaltet, dass wir uns an einen Schreibtisch setzen, der geschlossene Schubladen hat, und darin herumstöbern dürfen. Es ist unglaublich interessant, jedes Objekt in die Hand zu nehmen und zu sehen, wie es funktioniert und interagiert. Einer der Hauptgründe, warum die Spieler diese Interaktion bevorzugen, ist, dass wir ihnen Dinge in die Hand geben und ihnen die Möglichkeit geben, die Welt um sie herum wirklich zu verändern und herauszufinden, wie diese Welt aussieht. Wir bringen sie nicht dazu, mit etwas zu interagieren, das weit weg ist oder zu dem sie keine Verbindung haben.

Gameplay von Job Simulator
Job-Simulator von Owlchemy Labs

Welche Ratschläge würden Sie Entwicklern geben, die Spiele für Apple Vision Pro entwickeln oder portieren möchten, um das räumliche Computing zu verbessern? Welche Erfahrungen haben Sie bei der Portierung des Job Simulators mit der VisionOS-Unterstützung von Unity gemacht?

Wir haben eng mit Unity und Apple zusammengearbeitet und uns auf den besten Weg geeinigt, unsere Hoffnungen und Visionen zu verwirklichen. Wir haben den Job Simulator sehr schnell auf Apple Vision Pro zum Laufen gebracht und ihn ähnlich wie bei der Erstellung in iOS verwendet. Es hat einige Zeit gedauert, bis wir das Spiel zu einem vollständig immersiven Spiel gemacht haben. Unity musste eine Funktion aufrufen, die die gewünschte Ausgabe an das Apple-Betriebssystem übermitteln würde. Zuvor gab es immer wieder ein flaches Fenster, und wenn man es schloss, war das Spiel zu Ende.

Wir haben für ein vollständig immersives Spiel entwickelt, und da es sich um ein allgemeines Computerbetriebssystem handelt, ist das Verlassen eines Spiels neu für uns. Bei der Entwicklung für den PC hatten wir nie den zweiten Schritt des Beendens der Anwendung, da der Spieler einfach die X-Taste drücken kann. Als wir es auf Quest umsetzten, war es wirklich binär und das Spiel lief entweder oder nicht. Plötzlich befanden wir uns auf dem Apple Vision Pro auf einem Gerät, auf dem das Spiel in den Hintergrund gehen kann, und wir mussten herausfinden, wie wir die Anwendung tatsächlich verlassen können.

Mein Rat ist, wirklich kooperativ und offen zu sein. Man weiß nie, wann jemand die Lösung für einen Engpass hat, den Sie gerade erleben. Das ist nicht nur gut für Sie, sondern auch für die Gemeinschaft als Ganzes. Wir sind sehr aktiv in den Diskussionsforen, beim Öffnen von Tickets und bei Gesprächen mit Unity. Sie hilft uns, Lösungen zu finden, die auch dem Rest der Gemeinschaft zugute kommen. Wenn wir dort Fehlerberichte einreichen, haben wir die Möglichkeit, mit anderen Entwicklern zusammenzuarbeiten, die sich in ähnlichen Situationen befinden. Es beschleunigt definitiv unsere Lernkurve und hilft uns, die Entwicklung voranzutreiben.

Ich möchte dieses Interview mit einer letzten Inspiration und Erkenntnis für unsere Gemeinschaft beenden. Was ist das Wertvollste, das Sie über die visionOS-Entwicklung gelernt haben und das Sie in Ihr nächstes Apple Vision Pro-Projekt mitnehmen werden?

Wir leben seit Jahren in zwei Ökosystemen - Windows PC und Android. Als wir zur Entwicklung von visionOS übergingen, das viele Ähnlichkeiten mit anderen Apple-Betriebssystemen aufweist, erfuhren wir, an welchen Stellen wir Annahmen getroffen und uns in einer möglicherweise falschen Weise auf das Betriebssystem gestützt hatten. Wir haben herausgefunden, was wir hätten besser machen können.

Eine weitere wichtige Erkenntnis ist der Nutzen von Facetime und der Freigabe Ihres Bildschirms, um anderen Personen zu zeigen, was Sie gerade erleben - z. B. zur Fehlersuche. Auf diesem Bildschirm läuft Ihre Anwendung, Ihr Code wird ausgeführt, und andere können Ihre Ansicht perfekt sehen. Das ist etwas, das anderen Headsets bekanntermaßen schwer fällt, und Apple Vision Pro schafft das mühelos. Das wäre mein schneller Tipp.

Möchten Sie mehr erfahren? Lesen Sie unseren neuen 2024 Unity Gaming Report, und sehen Sie sich diese Video-Playlist an , in der Experten die wichtigsten Trends der Spieleentwicklung in diesem Jahr diskutieren.

Wenn Sie bereit sind, in die Unterstützung von Unity für Apple Vision Pro einzutauchen, können Sie sich Tipps von anderen Entwicklern holen, die für Apple Vision Pro entwickeln, und Ihr Feedback im AR/VR/XR-Diskussionsforum teilen.