Präsentation der weltweit ersten fotorealistischen Mixed-Reality-Demo von Varjo und Volvo

Werfen Sie einen Blick hinter die Kulissen eines ehrgeizigen Automobilprojekts, das mit Unity von Varjo realisiert wurde, dem Hersteller von industriellen VR/XR-Headsets, die für ihre hervorragende visuelle Qualität in VR bekannt sind.

Das Team von Varjo steht hinter einigen der innovativsten Projekte in der Welt der gemischten Realität. Sie haben uns bereits eine auf Photogrammetrie basierende Umgebung gezeigt , die sie in VR erstellt haben, und heute werden sie erzählen, wie sie zusammen mit Unity und Volvo neue Wege für eine Demo beschritten haben, die die reale und die virtuelle Welt wie nie zuvor zusammenbringt.

Auf der Unite Copenhagen können Sie dieses Projekt persönlich in Augenschein nehmen. Volvo und Varjo werden vor Ort sein, um diese Erfahrung zu präsentieren und in mehreren Sitzungen zu sprechen:

• Wie Volvo 3D in Echtzeit einführte und die Autoindustrie aufmischte
• Erstellen von VR- und MR-Erlebnissen der nächsten Generation mit Varjo VR-1 und XR-1
• Mobilität der Zukunft, intelligente Autos und autonomes Fahren: Vorbereitungen für eine neue Ära bei Volvo

Der nachstehende Inhalt wurde mit freundlicher Genehmigung von Varjo erstellt.

Mixed Reality bedeutet, dass virtuelle Inhalte mit der realen Welt verschmelzen. Bislang wurde die gemischte Realität mit optischer Durchsicht erreicht, bei der der Benutzer durch eine Brille digitale Objekte sieht, die über die Realität hinausgehen. Für die Darstellung von Infografiken oder Spielen ist das in Ordnung, aber für realistische Szenen bietet es wenig Nutzen. Optisch durchsichtige Geräte können keine schwarzen oder undurchsichtigen Inhalte über der realen Welt anzeigen. Alles erscheint verschwommen und holographisch.

Wir bei Varjo wollten diese Einschränkung beseitigen und in der Lage sein, fotorealistische, undurchsichtige Inhalte zu rendern, bei denen es unmöglich ist, zwischen dem, was real und dem, was virtuell ist, zu unterscheiden. Unser Ziel war es, fotorealistische Mixed Reality mit Video-Pass-Through zu ermöglichen. Video-Pass-Through bedeutet, dass Kameras verwendet werden, um die Welt in Echtzeit zu digitalisieren, und dem Nutzer dann das kombinierte Ergebnis aus realer und virtueller Welt gezeigt wird.

Um dies zu erreichen, brauchten wir zunächst ein VR-Headset, das die reale Welt in der Auflösung des menschlichen Auges darstellen kann. Aus diesem Grund haben wir im Februar 2019 unser erstes Produkt mit menschlicher Augenauflösung VR-1 auf den Markt gebracht, das sich an professionelle Anwender richtet.

Und auf der Augmented World Expo 2019 in Santa Clara haben wir einen Blick auf die Magie geworfen, die mit Video-Pass-Through möglich ist. Wir haben unser neues Headset XR-1 Developer Edition zum ersten Mal öffentlich vorgestellt, und zwar mit einer gemeinsamen Demo mit Volvo, die mit Unity erstellt wurde. Mit XR-1 können Sie virtuelle Inhalte nahtlos mit der Realität verschmelzen - mit extrem niedriger Latenz und integriertem Eye-Tracking, und das in hervorragender Auflösung.

Hier sehen Sie, wie die weltweit erste fotorealistische Mixed-Reality-Demo entstanden ist.

Dieses Video ist unmodifiziertes Material, das mit der Varjo XR-1 Developer Edition aufgenommen wurde. Mit XR-1 können Sie fotorealistische virtuelle Inhalte sehen, die mit der Realität in einem vollständigen Sichtfeld verschmelzen. Sie können auch nahtlos von XR zu Full VR wechseln.

Varjo begann Anfang 2018 mit der Arbeit an einem Mixed-Reality-Headset mit Videodurchgang. Die Zusammenarbeit zwischen Varjo und Volvo begann ebenfalls im Frühjahr 2018, als Volvo den Bedarf an einem XR-Headset skizzierte, das es ihnen ermöglichen würde, verschiedene Elemente zukünftiger Autos - wie Heads-up-Displays, neue Materialien und UI für Infotainmentsysteme - in einem echten Auto zu testen, während sie auf einer echten Teststrecke fahren. Die hohen Anforderungen an die Lesbarkeit und die niedrige Latenz, die erforderlich sind, um ein Auto auf einer Teststrecke zu fahren, haben Varjo zum Erfolg in der Produktentwicklung geführt.

In Anbetracht der Tatsache, dass Unity bereits für den VR-1 gut funktionierte, war es naheliegend, zu testen, wie die virtuellen Objekte in der gemischten Realität aussehen würden. Die Tatsache, dass Unity einfach mit C++-Bibliotheken zu integrieren und zu erweitern ist, wie z. B. unser eigenes Varjo-Plug-in, hat es uns ermöglicht, unser Plug-in zur Unterstützung von Mixed Reality zu erweitern. Indem wir einfach den leeren Hintergrund in einer VR-Szene definierten, der durch das Video-Pass-Through-Signal ersetzt werden sollte, waren wir schnell in der Lage, virtuelle Objekte in einer realen Umgebung zu sehen.

Die enge Zusammenarbeit und die schnellen Iterationen wurden durch die Benutzerfreundlichkeit von Unity ermöglicht, da unser Team gleichzeitig an der Entwicklung und Verbesserung von Pass-Through arbeitete, während wir Hand in Hand mit unserem Kunden zusammenarbeiteten. Ein Jahr später wurde bei der ersten öffentlichen Vorführung von XR-1 die Leistungsfähigkeit unserer Technologie in Verbindung mit den überlegenen Modellen von Volvo und den fotorealistischen Unity-Grafiken unter Beweis gestellt.

Die Demo veranschaulicht die Leistungsfähigkeit von Video-Pass-Through-Mixed-Reality im Gegensatz zu optischem See-Through. In dieser Demo sind die folgenden Schritte vorgesehen:

1. Echte Realität erleben

Sie sehen die reale Welt um Sie herum durch das XR-1-Headset. Die reale Welt wird mit <10 ms Latenzzeit über die hochauflösenden Kameras in der Frontplatte gestreamt. Sie sehen die Welt in einem vollständigen Sichtfeld und in hoher Auflösung mit einer Bildwiederholrate von 90 Hz, was das Gefühl vermittelt, überhaupt kein Headset zu tragen (d. h. die reale Welt mit den eigenen Augen zu sehen). Sie können sich frei bewegen und die reale Welt erkunden.

2. Eintritt in die fotorealistische gemischte Realität

Ein schöner Volvo XC60 baut sich vor Ihnen auf. Es erscheint zunächst als stilisiertes transparentes blaues Drahtgitter. Das virtuelle Auto ist auf dem realen Boden des Raums um Sie herum verankert und so ausgerichtet, dass der Stuhl in der Kabine mit dem Fahrersitz des virtuellen Autos übereinstimmt. Der Betrachter kann auf dem echten Stuhl Platz nehmen und trotzdem die reale Umgebung durch das Drahtgitter sehen.

Das Auto wird nun zu einem Volumenmodell, und die Oberflächen werden von transparent zu undurchsichtig. Das virtuelle Auto wirft Schatten auf den Boden der realen Welt, und wenn man auf die Oberfläche des Autos schaut, kann man sehen, dass sich die reale Welt in den Oberflächen des Autos spiegelt. Die Reflexionen stammen von einer HDR-Würfelkarte, die während der Einrichtung genau an der Stelle des Autos aufgenommen wurde. Die gleiche Cube Map wird auch für die Umgebungsbeleuchtung verwendet.

Dies ist das erste Mal, dass der Betrachter eine undurchsichtige gemischte Realität sieht, und der Effekt ist verblüffend. Sie können die reale Welt und Ihre Kollegen immer noch durch die Windschutzscheiben sehen.

Wie wurde das erreicht? Das Fahrzeugmodell wurde Varjo von Volvo zur Verfügung gestellt. Da die Auflösung des Headsets und des Autos so hoch war, mussten wir so viel Vorverarbeitung wie möglich betreiben. Die Beleuchtung wurde im DCC auf Texturen gebacken und in eigenen Shadern multipliziert. Bei den gebackenen Texturen ging es nur um die Okklusion, und die Schattierung wird immer noch von der Skybox beeinflusst.

Mattias Wilkenmalm von Volvo kümmerte sich um die Erstellung der Assets und schrieb eigene Shader für die Fahrzeuglackierung, die hervorragende Ergebnisse lieferten. Wir haben sie einfach modifiziert, um das Aussehen und die Übergänge zu erhalten, die wir brauchten. Das endgültige Modell besteht aus rund 7 Millionen Polygonen und hat etwa 150 4K-Texturen.

3. Wechseln Sie nahtlos in die virtuelle Realität - und zurück.

Dann wird der Betrachter aufgefordert, aus dem Auto auszusteigen, und wir wechseln nach Venedig. Die letzten Reste der realen Welt um den Betrachter herum verschwinden nun in einem einzigartigen Übergang, während sich die Realität in eine virtuelle Szene von Venedig verwandelt, in der das Auto in einer der Gassen geparkt ist. Die Spiegelungen im Auto sind jetzt die von Venedig, und die Schatten des Autos landen jetzt auf den Straßen von Venedig.

Nach einer Weile kehren wir von der virtuellen in die reale Welt zurück. Der Benutzer kann nun um das virtuelle Auto herumgehen und alle Details und Spiegelungen sehen. Dies zeigt, dass XR-1 die Möglichkeit bietet, weiterhin mit anderen zu interagieren und nur die Teile auszuwählen, die Sie virtualisieren möchten.

Wie wurde das erreicht? Um die Übergänge optisch ansprechend zu gestalten, verwendete Timotei Ghiurau, Lead, Virtual Experiences, and XR Research bei Volvo, 3D-Rauschen im Weltraum mit Alpha-Ausschnitten, um das Auto und die Umgebung einzubinden. Das ist im Fragment schnell zu machen und sieht sehr cool aus. Das war eine perfekte Kombination, wenn es um knappe Fristen geht. Geräuschfunktionen können aus dem Keijiro-Repository von Unity abgerufen werden.

Um einen fließenden Übergang für die Autoreflexionen zu erhalten, wurde die Venedig-Umgebung zu einer separaten Ebene hinzugefügt, so dass die Echtzeit-Reflexionssonde nur die minimale Menge an Geometrie rendern musste. Die Reflexionsprobe wurde mit 30 Bildern pro Sekunde gerendert, während die Szene mit einer viel höheren Bildrate gerendert wird. Dadurch, dass der Übergang in der Reflexionssonde sichtbar ist, wird die Szene viel intensiver.

Die Tatsache, dass das XR-1 als erstes Headset die Möglichkeit bietet, nahtlos von der realen Realität in die gemischte Realität, weiter in die VR und wieder zurück in die Realität zu wechseln, sorgt für eine sehr beeindruckende Demo. Es ist ein Matrix-ähnlicher Moment, wenn die umgebende Realität verschwindet und durch eine virtuelle Szene ersetzt wird - und dann zurückreist.

---

Unser Dank geht an Varjo, der diesen Beitrag mit uns geteilt hat. Besuchen Sie uns auf der Unite Copenhagen und sehen Sie Varjo VR-1 und XR-1 Developer Edition aus erster Hand. Beginnen Sie noch heute mit der Entwicklung von XR-Anwendungen mit Unity Industry Collection.