Dans Bonfire, avec des personnages basés sur l'IA, vous faites partie de l'histoire en RV

Comment les studios primés Baobab ont exploité Unity pour créer des expériences immersives sur mobile

Baobab Studios : une étude de cas Unity

Bonfire is a cinematic virtual reality (VR) movie that enables viewers to become actual participants. You communicate with aliens and determine how the story unfolds and, ultimately, how it ends. It features comedian, writer and actress Ali Wong (star of Netflix’s Always Be My Maybe), and is six-time Emmy-winning Baobab Studios’ most-recent project, following fan favorites like ASTEROIDS! and INVASION! 

 

  • L'objectif

    Créer un film en RV interactive avec de vraies relations entre les personnages

  • Plateformes

    Oculus Quest, Oculus Rift, PlayStation VR et HTC Vive

  • Équipe de projet

    20

  • Lieu

    San Francisco, États-Unis

Il était une fois... sur une planète extraterrestre

Dans Bonfire, vous êtes confronté au défi de survivre sur une planète extraterrestre avec juste un feu de camp, et Debbie, votre acolyte robot (jouée par Ali Wong). Vous y rencontrerez Pork Bun, une créature qui ne parle pas votre langue. Pork Bun ne communique que par le biais de performances animées non verbales, générées de façon procédurale selon vos interactions avec lui. Le résultat est un récit complètement non linéaire, dans lequel toutes les réponses du personnage sont dictées par des systèmes complexes d'intelligence artificielle et d'émotions qui répondent à vos comportements, le tout en temps réel.

Les résultats :

  • Création d'un film en RV interactive primé, présenté dans le monde entier 
  • Conception d'un monde extraterrestre hautement stylisé et cinématique rendu en temps réel 
  • Narration étendue en RV permettant au public de faire partie de l'histoire
  • Possibilité de vivre l'expérience Bonfire n'importe où grâce aux casques de RV mobiles
Rendez-vous autour du feu de camp virtuel

Des spectateurs qui font partie de l'histoire

La vision directrice de Baobab est de créer des expériences immersives dans lesquelles les spectateurs jouent un rôle actif au niveau de la narration. « Nous pensons que la plus grande force du récit réside dans sa capacité à générer des expériences émotionnelles à travers la création de personnages vivants. Si nous parvenons à vous faire vraiment aimer les personnages, vous êtes plus investi dans le résultat et pouvez même devenir plus compatissant », déclare Larry Cutler, le cofondateur et directeur technique de Baobab. 

Pour atteindre cet objectif, dont le résultat a été validé par des prix de l'industrie et des critiques positives, Unity et Baobab ont repoussé les limites technologiques. Cette expérience de RV acclamée par la critique vous met dans une position émotionnelle difficile : protégerez-vous la vie sur une étrange planète ou choisirez-vous cette dernière comme nouveau foyer de l’humanité ? 

Rendu en temps réel pour la RV mobile

Baobab’s previous projects were designed to run on headsets such as the Oculus Rift and PlayStation VR that are powered by high-end hardware. For Bonfire, they targeted standalone VR headsets like the Oculus Quest, where users are completely mobile, untethered to a computer. Bonfire was initially built, optimized, and released as part of the Oculus Quest launch – one of just a few non-games to get the nod from Oculus.

But rendering a VR experience in real-time posed a challenge because mobile chipsets have approximately an order of magnitude less compute power compared to high-end headsets. 

To the rescue came Baobab’s art director, Oscar- and Emmy-winning Kal Athannassov, who developed a stylized design that gravitated towards simple graphic shapes that work well on mobile. Over the course of production, the team tackled numerous optimization challenges such as rendering organic characters like Pork Bun in full fidelity and creating a stylized lighting aesthetic for a campfire that casts shadows on all the dynamic characters and environment objects.

Baobab used Unity’s Scriptable Render Pipeline (SRP) to produce this graphically rich environment. According to Nathaniel Dirksen, Bonfire’s digital supervisor, “The new Scriptable Render Pipeline was essential for our ability to render Bonfire in real-time on mobile VR headsets like the Oculus Quest. With the modular architecture, we could include only the rendering functionality we specifically required for our desired look. For example, we created a custom lighting technique geared for casting shadows from our flickering campfire. SRP let us maximize the rendering resources we needed to bring our cinematic alien world to life.” 

Bonfire par Baobab Studios

AI and non-linear storytelling

L’équipe a créé des systèmes sophistiqués de narration non linéaire et d’IA pour les personnages dans Unity, permettant ainsi au spectateur de jouer le rôle d’un personnage principal. Elle a réalisé d’importants progrès techniques et créatifs en matière d’intelligence artificielle et d’émotions, ce qui lui a permis de susciter l’empathie et de révéler, non seulement la nature d’un personnage, mais également celle du spectateur, dans la grande tradition de la narration. 

Pour l'IA de Pork Bun, Baobab avait pour objectif de générer une animation procédurale offrant les mêmes performances de qualité que si elle avait été réalisée à la main par un animateur. En bref, la personnalité de Pork Bun devait être intégrée au système d’IA. Pendant longtemps, le système d’IA a produit un mouvement plausible, mais mécanique, qui ne reflétait pas le véritable caractère de Pork Bun. Le cadre d’animation flexible de Unity a été essentiel pour permettre de capturer « l’illusion de la vie » lorsque Pork Bun interagit avec vous.

Inspired by stand-up comedy

Despite the serious themes of trust and survival, Bonfire is a comical and casual experience with a much longer script than people might think. The team designed a dynamic system modeled after Ali Wong’s stand-up routines, which are made of bits, jokes and chunks, linking everything together. Ali recorded all of these variant lines to ensure her character would respond appropriately. 

Dirksen explains, “This framework extended well past how we thought about the script – the entire technical approach is built on our proprietary Storyteller system, designed to code for a typical comedy set. These building blocks could be easily represented using Unity’s Timeline or Animator Controllers as appropriate. By seamlessly transitioning between them, based on the user’s actions, Debbie and Pork Bun can deliver responsive performances, while ensuring their actions still feed into a compelling narrative.” Debbie procedurally reacts to the viewer’s actions – with different animations and voiceover lines – delivering an improvised comedic performance that’s unique for each viewer.

Des personnages qui vous mettent sous pression

Taking advantage of Unity’s Animation toolset, Bonfire delivers high-quality, animated character performances in VR. But it’s not just about the quality of the graphics and animation, it’s how Unity enabled Baobab to bring the world and characters to life by putting pressure on the viewer to make meaningful and difficult decisions – making it feel real.

As Cutler says, “In Bonfire, your relationships with the characters change throughout the story as we raise the stakes. In VR, we can enable you to act on the empathy you are feeling and actually do something compassionate. For Bonfire, Unity enabled us to create an immersive VR world where characters react and respond to what you are doing, unlike our past experience in feature animation.”

Equipped with Unity’s latest VR tools and multiplatform support, Baobab is connecting with audiences like never before. By creating unique storytelling experiences they are breaking down physical barriers and transporting audiences – wherever they are – into immersive new worlds. 

Ce qu'ils en disent

Larry Cutler, Co-Founder and CTO, Baobab Studios

« Nous pensons que la plus grande force du récit réside dans sa capacité à générer des expériences émotionnelles à travers la création de personnages vivants. Si nous parvenons à vous faire vraiment aimer les personnages, vous êtes plus investi dans le résultat et pouvez même devenir plus compatissant. »

Larry Cutler, Co-Founder and CTO, Baobab Studios
Nathaniel Dirksen, Digital Supervisor, Baobab Studios

« Le nouveau pipeline de rendu programmable (SRP) était essentiel pour un rendu en temps réel de Bonfire sur des casques de RV mobiles comme Oculus Quest. Le SRP nous a permis de maximiser les ressources de rendu dont nous avions besoin pour donner vie à notre monde extraterrestre cinématique ».

Nathaniel Dirksen, Digital Supervisor, Baobab Studios
Larry Cutler, Co-Founder and CTO, Baobab Studios

Pour Bonfire, Unity nous a permis de créer un monde immersif en RV dans lequel les personnages réagissent et répondent à ce que vous faites, ce qui n'était pas le cas dans nos longs métrages d'animation précédents.

Larry Cutler, Co-Founder and CTO, Baobab Studios

Ce site utilise des cookies dans le but de vous offrir la meilleure expérience possible. Consultez notre politique de cookies pour en savoir plus.

Compris