Você faz parte da história em VR no Bonfire com personagens baseadas em IA

Como o premiado Baobab aproveitou o Unity para criar experiências imersivas para dispositivos móveis

Baobab Studios: um estudo de caso da Unity

Bonfire is a cinematic virtual reality (VR) movie that enables viewers to become actual participants. You communicate with aliens and determine how the story unfolds and, ultimately, how it ends. It features comedian, writer and actress Ali Wong (star of Netflix’s Always Be My Maybe), and is six-time Emmy-winning Baobab Studios’ most-recent project, following fan favorites like ASTEROIDS! and INVASION! 

 

  • O objetivo

    Criar um filme interativo em VR com relacionamentos entre personagens realmente significativos.

  • Plataformas

    Oculus Quest, Oculus Rift, PlayStation VR e HTC Vive

  • Equipe do projeto

    20

  • Local

    São Francisco, EUA

Era uma vez... em um planeta alienígena

Em Bonfire, você recebe o desafio de sobreviver em um planeta alienígena com apenas uma fogueira e Debbie, um robô ajudante (voz de Ali Wong). Você encontra Pork Bun, uma criatura alienígena que não fala o nosso idioma. Pork Bun se comunica exclusivamente por meio de movimentos não verbais animados, gerados de maneira processual com base na maneira como você interage com ele. O resultado é uma narrativa completamente não linear, em que todas as respostas do personagem são acionadas por inteligência artificial complexa e sistemas de emoção que respondem aos seus comportamentos — tudo renderizado em tempo real.

Os resultados:

  • Criação de um filme premiado em VR interativo, exibido mundialmente 
  • Desenvolvimento de um mundo alienígena cinemático, altamente estilizado com renderização em tempo real 
  • Extensão da narrativa em VR ao possibilitar que o público faça parte da história
  • Habilitação das pessoas para desfrutar de Bonfire em qualquer lugar por meio de headsets VR
Junte-se em torno da fogueira em VR

Tornando os espectadores parte da história

A visão orientadora do Baobab é criar experiências de narrativas imersivas em que os espectadores assumem uma função ativa na narrativa. "Nós acreditamos que a principal força da narrativa é a capacidade de criar experiências emocionais por meio de caracterização vívida. Se pudermos fazer você realmente se importar com os personagens, você se aplicará mais no resultado e poderá até se tornar uma pessoa mais solidária", diz Larry Cutler, cofundador e CTO no Baobab. 

Validado com prêmios do setor e críticas positivas, Unity e Baobab desafiaram os limites tecnológicos para alcançar este objetivo. Essa experiência em VR aclamada pelos críticos coloca você em uma posição difícil e emocional: você protegerá a vida em um planeta estranho ou o escolherá como nova casa para a humanidade? 

Renderização em tempo real para VR móvel

Baobab’s previous projects were designed to run on headsets such as the Oculus Rift and PlayStation VR that are powered by high-end hardware. For Bonfire, they targeted standalone VR headsets like the Oculus Quest, where users are completely mobile, untethered to a computer. Bonfire was initially built, optimized, and released as part of the Oculus Quest launch – one of just a few non-games to get the nod from Oculus.

But rendering a VR experience in real-time posed a challenge because mobile chipsets have approximately an order of magnitude less compute power compared to high-end headsets. 

To the rescue came Baobab’s art director, Oscar- and Emmy-winning Kal Athannassov, who developed a stylized design that gravitated towards simple graphic shapes that work well on mobile. Over the course of production, the team tackled numerous optimization challenges such as rendering organic characters like Pork Bun in full fidelity and creating a stylized lighting aesthetic for a campfire that casts shadows on all the dynamic characters and environment objects.

Baobab used Unity’s Scriptable Render Pipeline (SRP) to produce this graphically rich environment. According to Nathaniel Dirksen, Bonfire’s digital supervisor, “The new Scriptable Render Pipeline was essential for our ability to render Bonfire in real-time on mobile VR headsets like the Oculus Quest. With the modular architecture, we could include only the rendering functionality we specifically required for our desired look. For example, we created a custom lighting technique geared for casting shadows from our flickering campfire. SRP let us maximize the rendering resources we needed to bring our cinematic alien world to life.” 

Bonfire por Baobab Studios

IA e narrativa não linear

A equipe criou sistemas sofisticados de IA de personagens e narrativa não linear no Unity, permitindo que o espectador assuma a função de um personagem principal. Eles alcançaram avanços criativos e técnicos significativos em inteligência artificial e emoções que permitiram evocar empatia, revelando não apenas a natureza de um personagem, mas também a natureza do espectador, que se baseia nas grandes tradições da narrativa. 

Para o cérebro de IA de Pork Bun, o Baobab buscou gerar animação processual com a mesma qualidade de desempenho de personagem como se tivesse sido criado por um animador. Resumindo, a personalidade de Pork Bun precisou ser integrada ao sistema de IA. Por muito tempo, o sistema de IA produziu movimentos plausíveis, mas era mecânico e não refletia o verdadeiro caráter de Pork Bun. A estrutura de animação flexível do Unity foi essencial para possibilitar a captura da "ilusão de vida" conforme Pork Bun reage a você.

Inspiradas pela comédia stand-up

Despite the serious themes of trust and survival, Bonfire is a comical and casual experience with a much longer script than people might think. The team designed a dynamic system modeled after Ali Wong’s stand-up routines, which are made of bits, jokes and chunks, linking everything together. Ali recorded all of these variant lines to ensure her character would respond appropriately. 

Dirksen explains, “This framework extended well past how we thought about the script – the entire technical approach is built on our proprietary Storyteller system, designed to code for a typical comedy set. These building blocks could be easily represented using Unity’s Timeline or Animator Controllers as appropriate. By seamlessly transitioning between them, based on the user’s actions, Debbie and Pork Bun can deliver responsive performances, while ensuring their actions still feed into a compelling narrative.” Debbie procedurally reacts to the viewer’s actions – with different animations and voiceover lines – delivering an improvised comedic performance that’s unique for each viewer.

Os personagens colocam você sob pressão

Taking advantage of Unity’s Animation toolset, Bonfire delivers high-quality, animated character performances in VR. But it’s not just about the quality of the graphics and animation, it’s how Unity enabled Baobab to bring the world and characters to life by putting pressure on the viewer to make meaningful and difficult decisions – making it feel real.

As Cutler says, “In Bonfire, your relationships with the characters change throughout the story as we raise the stakes. In VR, we can enable you to act on the empathy you are feeling and actually do something compassionate. For Bonfire, Unity enabled us to create an immersive VR world where characters react and respond to what you are doing, unlike our past experience in feature animation.”

Equipped with Unity’s latest VR tools and multiplatform support, Baobab is connecting with audiences like never before. By creating unique storytelling experiences they are breaking down physical barriers and transporting audiences – wherever they are – into immersive new worlds. 

Em seus mundos

Larry Cutler, Co-Founder and CTO, Baobab Studios

"Nós acreditamos que a principal força da narrativa é a capacidade de criar experiências emocionais por meio de caracterização vívida. Se pudermos fazer você realmente se importar com os personagens, você se aplicará mais no resultado e talvez até se tornar uma pessoa mais solidária."

Larry Cutler, Co-Founder and CTO, Baobab Studios
Nathaniel Dirksen, Digital Supervisor, Baobab Studios

"O novo Pipeline de Renderização de Scripts (SRP) foi essencial para a nossa capacidade de renderizar o Bonfire em tempo real em headsets VR móveis, como o Oculus Quest. O SRP nos permite maximizar os recursos de renderização necessários para dar vida ao nosso mundo alienígena cinemático."

Nathaniel Dirksen, Digital Supervisor, Baobab Studios
Larry Cutler, Co-Founder and CTO, Baobab Studios

Para Bonfire, o Unity nos permitiu criar um mundo em VR imersivo onde os personagens reagem e respondem ao que você faz, ao contrário de nossa última experiência em animação."

Larry Cutler, Co-Founder and CTO, Baobab Studios

Usamos cookies para garantir a melhor experiência no nosso site. Visite nossa página da política de cookies para obter mais informações.

Eu entendi