Sie sind Teil der VR-Story in Bonfire mit KI-basierten Charakteren

So hat das ausgezeichnete Baobab mithilfe von Unity die mitreißenden Erlebnisse für Mobilgeräte geschaffen

Baobab Studios: Eine Unity-Fallstudie

Bonfire ist ein cineastischer Virtual Reality (VR)-Film, der es dem Zuschauer ermöglicht, ein tatsächlicher Teilnehmer zu werden. Sie kommunizieren mit Aliens und entscheiden, wie sich die Story entwickelt und schließlich auch, wie sie endet. Mit dabei ist Comedian, Autorin und Schauspielerin Ali Wong (Star im Netflix-Film Always Be My Maybe). Es ist das neueste Projekt der Baobab Studios, das sechsmal mit dem Emmy ausgezeichnet wurde, und folgt auf Favoriten der Fans wie ASTEROIDS! und INVASION! 

 

Das Ziel

Erstellen eines interaktiven VR-Films mit wirklich sinnvollen Beziehungen zwischen den Charakteren.

Plattformen

Oculus Quest, Oculus Rift, PlayStation VR und HTC Vive

Projektmitarbeiter

20

Standort

San Francisco, USA

Er war einmal ... auf einem fremden Planeten

In Bonfire stehen Sie vor der Herausforderung, auf einem fremden Planeten zu überleben, mit nichts als einem Lagerfeuer und Debbie, einem Roboter-Sidekick (gesprochen von Ali Wong). Sie treffen auf Pork Bun, eine außerirdische Kreatur, die unsere Sprache nicht spricht. Pork Bun kommuniziert nur durch nichtverbale, animierte Performances, die prozedural erzeugt werden, je nachdem, wie Sie mit ihm interagieren. Das Ergebnis ist eine völlig nichtlineare Erzählung, bei der alle Charakterreaktionen von komplexen künstlichen Intelligenz- und Emotionssystemen gesteuert werden, die auf Ihr Verhalten reagieren – alles in Echtzeit.

Die Ergebnisse:

  • Erschaffung eines ausgezeichneten, interaktiven VR-Films, weltweit präsentiert 
  • Erschaffung einer in Echtzeit gerenderten, hochgradig stilisierten und cineastischen außerirdischen Welt 
  • Ausgedehntes VR-Storytelling durch die Einbeziehung der Zuschauer in die Geschichte
  • Eröffnen der Möglichkeit, Bonfire überall über mobile VR-Headsets zu erleben
Versammeln Sie sich um das VR-Lagerfeuer

Einbindung der Zuschauer in die Geschichte

Baobabs leitende Vision ist es, immersive Storytelling-Erfahrungen zu erschaffen, bei denen die Zuschauer eine aktive Rolle in der Erzählung spielen. „Wir glauben, dass die größte Stärke des Geschichtenerzählens die Fähigkeit ist, emotionale Erlebnisse durch eine lebhafte Charakterisierung hervorzurufen. Wenn wir es schaffen, dass Sie sich wirklich für die Charaktere interessieren, wird Ihnen das Ergebnis wichtiger und Sie könnten vielleicht sogar zu einer einfühlsameren Persönlichkeit werden“, sagt Baobab-Mitbegründer und CTO Larry Cutler. 

Unity und Baobab wurden mit Branchenpreisen und positiven Rezensionen ausgezeichnet und sind bis an die Grenzen der Technologie gegangen, um dieses Ziel zu erreichen. Diese von der Kritik gefeierte VR-Erfahrung versetzt Sie in eine emotional schwierige Position: Werden Sie das Leben auf diesem fremdartigen Planeten beschützen oder werden Sie ihn als neue Heimat für die Menschheit auswählen? 

Echtzeit-Rendering für mobile VR

Die vorhergehenden Projekte Baobabs waren dafür konzipiert, auf Headsets wie z. B. Oculus Rift und PlayStation VR zu laufen, die auf leistungsfähiger Hardware basieren. Für Bonfire zielten sie auf Standalone-VR-Headsets ab, wie das Oculus Quest, mit dem die Anwender vollkommen mobil sind, unabhängig von einem Computer. Bonfire wurde anfänglich als Teil der Markteinführung von Oculus Quest entwickelt, optimiert und veröffentlicht – eines von nur wenigen Non-Games, die von Oculus akzeptiert wurden.

Aber das Rendern einer VR-Erfahrung in Echtzeit stellte eine Herausforderung dar, da mobile Chipsätze im Vergleich zu Hochleistungs-Headsets etwa eine Größenordnung geringere Rechenleistung haben. 

Zur Rettung kam der Art Director von Baobab, der mit Oscar und Emmy ausgezeichnete Kal Athannassov. Er entwickelte ein stilisiertes Design, das sich in Richtung von einfachen grafischen Formen entwickelte, die gut auf Mobilgeräten funktionieren. Im Laufe der Produktion sah sich das Team zahlreichen Optimierungsherausforderungen gegenüber, etwa die originalgetreue Wiedergabe von organischen Charakteren wie Pork Bun und die Schaffung einer stilisierten Lichtästhetik für ein Lagerfeuer, das alle dynamischen Charaktere und Umgebungsobjekte in Schatten taucht.

Baobab produzierte diese grafisch anspruchsvolle Umgebung mithilfe von Unitys Scriptable Render Pipeline (SRP). Nach Ansicht von Nathaniel Dirksen, dem Digital Supervisor von Bonfire, war „die neue Scriptable Render Pipeline unerlässlich für unsere Fähigkeit, Bonfire in Echtzeit auf mobilen VR-Headsets wie dem Oculus Quest zu rendern. Durch die modulare Architektur konnten wir nur die Rendering-Funktionalität berücksichtigen, die wir speziell für unseren gewünschten Look benötigen. So haben wir beispielsweise eine maßgeschneiderte Beleuchtungstechnik entwickelt, die darauf ausgelegt ist, von unserem flackernden Lagerfeuer aus Schatten zu werfen. Mit SRP konnten wir die Rendering-Ressourcen maximieren, die wir brauchten, um unsere filmische außerirdische Welt zum Leben zu erwecken.“ 

Bonfire by Baobab Studios

KI und nichtlineares Storytelling

Das Team schuf anspruchsvolle Systeme in Unity für Charakter-KI und nichtlineares Storytelling, was es dem Zuschauer ermöglicht, die Rolle der Hauptfigur zu übernehmen. Sie machten bedeutende kreative und technische Fortschritte in künstlicher Intelligenz und Emotion, mit denen sie Empathie wecken können und so nicht nur die Natur einer Figur, sondern auch die Natur eines Zuschauers offenbaren, womit sie auf den großen Traditionen des Geschichtenerzählens aufbauen. 

Für das KI-Hirn von Pork Bun zielte Baobab darauf ab, prozedurale Animationen zu erzeugen, die die gleiche Performancequalität des Charakters erreicht, als wären sie von einem Animator handgefertigt worden. Kurz gesagt, die Persönlichkeit von Pork Bun musste in das KI-System eingebettet werden. Für lange Zeit konnte das KI-System zwar plausible Bewegungen erzeugen, war aber mechanisch und konnte den wahren Charakter von Pork Bun nicht wiederspiegeln. Das flexible Animationsframework von Unity war entscheidend dafür, dass in den Reaktionen von Pork Bun auf Sie die „Illusion des Lebens“ eingefangen werden konnte.

Inspiriert von Stand-up-Comedy

Trotz der ernsten Themen Vertrauen und Überleben ist Bonfire ein lustiges und entspanntes Erlebnis mit einem Drehbuch, das viel länger ist, als Sie vielleicht denken. Das Team entwarf ein dynamisches System nach dem Vorbild von Ali Wongs Stand-up-Programmen, die aus Bits, Witzen und Chunks bestehen, und das alles miteinander verbindet. Ali nahm all diese Varianten auf, um sicherzustellen, dass ihr Charakter angemessen reagieren würde. 

Dirksen erklärt: „Dieses Framework hat sich weit darüber hinaus entwickelt, was wir uns als Drehbuch vorgestellt hatten – der gesamte technische Ansatz basiert auf unserem proprietären Storyteller-System, das für die Programmierung eines typischen Comedy-Sets entwickelt wurde. Diese Bausteine konnten nach Bedarf einfach mit den Timeline- oder Animator-Controllern von Unity dargestellt werden. Durch den nahtlosen Übergang zwischen ihnen, basierend auf den Aktionen des Zuschauers, können Debbie und Pork Bun reaktionsschnelle Performances erbringen und gleichzeitig sicherstellen, dass ihre Aktionen immer noch in eine überzeugende Erzählung einfließen.“ Debbie reagiert prozedural auf die Aktionen des Zuschauers – mit verschiedenen Animationen und Voiceover-Zeilen – und liefert so eine improvisierte komödiantische Performance, die für jeden Zuschauer einzigartig ist.

Charaktere setzen Sie unter Druck

Bonfire nutzt die Vorteile von Unitys Animation Toolset und liefert hochwertige, animierte Charakterleistungen in VR. Aber es geht nicht nur um die Qualität der Grafiken und Animationen, sondern auch darum, wie Unity es Baobab ermöglichte, die Welt und die Charaktere zum Leben zu erwecken, indem es den Zuschauer unter Druck setzt, sinnvolle und schwierige Entscheidungen zu treffen – sodass es sich real anfühlt.

Cutler drückt es folgendermaßen aus: „In Bonfire ändern sich Ihre Beziehungen zu den Charakteren im Laufe der Geschichte, während wir den Einsatz erhöhen. In VR können wir Ihnen ermöglichen, aufgrund der Empathie, die Sie empfinden, zu handeln und tatsächlich etwas aus Mitgefühl heraus zu tun. Für Bonfire hat uns Unity in die Lage versetzt, eine immersive VR-Welt zu erschaffen, in der Charaktere darauf reagieren, was Sie tun, anders als unsere vorherigen Erfahrungen mit Feature-Animationen.“

Ausgestattet mit den neuesten VR-Tools von Unity und Multiplattform-Unterstützung stellt Baobab wie nie zuvor den Kontakt zum Publikum her. Indem sie einzigartige Storytelling-Erfahrungen schaffen, überwinden sie physische Barrieren und transportieren das Publikum – wo immer es auch ist – in immersive neue Welten. 

In ihren Worten

„Wir glauben, dass die größte Stärke des Geschichtenerzählens die Fähigkeit ist, emotionale Erlebnisse durch eine lebhafte Charakterisierung hervorzurufen. Wenn wir es schaffen, dass Sie sich wirklich für die Charaktere interessieren, wird Ihnen das Ergebnis wichtiger und Sie könnten vielleicht sogar zu einer einfühlsameren Persönlichkeit werden.“

Larry Cutler, Co-Founder and CTO, Baobab Studios

„Die neue Scriptable Render Pipeline (SRP) war entscheidend für unsere Fähigkeit, Bonfire in Echtzeit auf mobilen VR-Headsets wie Oculus Quest zu rendern. Mit SRP konnten wir die Rendering-Ressourcen maximieren, die wir brauchten, um unsere filmische außerirdische Welt zum Leben zu erwecken.“

Nathaniel Dirksen, Digital Supervisor, Baobab Studios

„Für Bonfire hat uns Unity in die Lage versetzt, eine immersive VR-Welt zu erschaffen, in der Charaktere darauf reagieren, was Sie tun, anders als unsere vorherigen Erfahrungen mit Feature-Animationen.“

Larry Cutler, Co-Founder and CTO, Baobab Studios

Wir verwenden Cookies, damit wir Ihnen die beste Erfahrung auf unserer Website bieten können. Auf unserer Cookie-Richtlinienseite erhalten Sie weitere Informationen.

Alles klar