Вы вместе с персонажами с искусственным интеллектом становитесь частью VR-сюжета Bonfire

Как разработчики из Baobab использовали Unity для создания иммерсивных мобильных приложений

Baobab Studios: Пример использования Unity

Bonfire is a cinematic virtual reality (VR) movie that enables viewers to become actual participants. You communicate with aliens and determine how the story unfolds and, ultimately, how it ends. It features comedian, writer and actress Ali Wong (star of Netflix’s Always Be My Maybe), and is six-time Emmy-winning Baobab Studios’ most-recent project, following fan favorites like ASTEROIDS! and INVASION! 

 

  • Цель

    Создать интерактивный VR-фильм с проработанным взаимодействием персонажей.

  • Платформы

    Oculus Quest, Oculus Rift, PlayStation VR, и HTC Vive

  • Персонал

    20

  • Регион

    Сан-Франциско, США

Однажды, на далекой планете...

Bonfire ставит перед вами задачу выжить на чужой планете в компании робота-помощника Дебби (роль озвучена Али Вонг). Вы встретитесь с Порком Буном, инопланетным существом, не знающим вашего языка. Порк Бун может общаться только посредством невербальных анимированных жестов, процедурно генерируемых в соответствии с вашим поведением. В итоге получилась совершенно нелинейная история, где все реакции персонажей управляются сложными системами искусственного интеллекта и эмоций, реагирующими на ваше поведение, и все это с рендерингом в реальном времени.

Результаты

  • Разработан интерактивный VR-фильм, который был показан во всем мире и получил заслуженную награду. 
  • Создан приятно стилизованный мир чужой планеты с рендерингом в реальном времени. 
  • Мир VR расширился новыми возможностями, позволяющими зрителям влиять на развитие сюжета.
  • Зрители получили возможность знакомиться с миром Bonfire где угодно, имея мобильные VR-гарнитуры.
Собирайтесь вокруг виртуального костра

Превращение зрителя в один из персонажей

Главная идея Baobab — создание иммерсивных приложений, где зрители смогут принимать активное участие в развитии сюжета. «Мы считаем, что главная сила повествования заключается в создании эмоциональных переживаний с помощью ярких образов. Если нам удастся вызвать у вас чувство сопереживания персонажам, то вам станет интересно, чем все закончится, и, может быть, вы станете больше сочувствовать окружающим вас людям», — говорит сооснователь и технический директор Baobab Ларри Катлер. 

Воодушевившись наградами и положительными отзывами, Unity и Baobab сделали все возможное для достижения этой цели. Признанное критиками приложение для VR ставит перед вами морально сложную задачу выбора между защитой жизни на незнакомой планете и созданием на ней условий для жизни человечества. 

Рендеринг в реальном времени, на мобильных VR-устройствах

Baobab’s previous projects were designed to run on headsets such as the Oculus Rift and PlayStation VR that are powered by high-end hardware. For Bonfire, they targeted standalone VR headsets like the Oculus Quest, where users are completely mobile, untethered to a computer. Bonfire was initially built, optimized, and released as part of the Oculus Quest launch – one of just a few non-games to get the nod from Oculus.

But rendering a VR experience in real-time posed a challenge because mobile chipsets have approximately an order of magnitude less compute power compared to high-end headsets. 

To the rescue came Baobab’s art director, Oscar- and Emmy-winning Kal Athannassov, who developed a stylized design that gravitated towards simple graphic shapes that work well on mobile. Over the course of production, the team tackled numerous optimization challenges such as rendering organic characters like Pork Bun in full fidelity and creating a stylized lighting aesthetic for a campfire that casts shadows on all the dynamic characters and environment objects.

Baobab used Unity’s Scriptable Render Pipeline (SRP) to produce this graphically rich environment. According to Nathaniel Dirksen, Bonfire’s digital supervisor, “The new Scriptable Render Pipeline was essential for our ability to render Bonfire in real-time on mobile VR headsets like the Oculus Quest. With the modular architecture, we could include only the rendering functionality we specifically required for our desired look. For example, we created a custom lighting technique geared for casting shadows from our flickering campfire. SRP let us maximize the rendering resources we needed to bring our cinematic alien world to life.” 

Bonfire от Baobab Studios

ИИ и нелинейное повествование

Команда разработала сложные системы ИИ и нелинейного повествования в Unity, создав зрителю возможность играть роль главного героя. Они внесли много нового в сферу искусственного интеллекта и эмоций, благодаря чему зритель проникается сочувствием, а сюжет в лучших традициях драматургии раскрывает не только персонажей, но и самого зрителя. 

Создавая искусственный разум Порка Буна, Baobab стремилась создать систему процедурной анимации, обеспечивающую качество, сравнимое с ручной анимацией. Иными словами, сама личность Порка Буна должна быть встроена в систему искусственного интеллекта. Долгое время ИИ-анимация была плавной, но чересчур механической; она не отражала истинную суть Порка Буна. Гибкая анимационная платформа Unity сыграла критическую роль в разработке реалистичной системы реакции Порка Буна на поведение зрителя.

В традициях стендап-комедий

Despite the serious themes of trust and survival, Bonfire is a comical and casual experience with a much longer script than people might think. The team designed a dynamic system modeled after Ali Wong’s stand-up routines, which are made of bits, jokes and chunks, linking everything together. Ali recorded all of these variant lines to ensure her character would respond appropriately. 

Dirksen explains, “This framework extended well past how we thought about the script – the entire technical approach is built on our proprietary Storyteller system, designed to code for a typical comedy set. These building blocks could be easily represented using Unity’s Timeline or Animator Controllers as appropriate. By seamlessly transitioning between them, based on the user’s actions, Debbie and Pork Bun can deliver responsive performances, while ensuring their actions still feed into a compelling narrative.” Debbie procedurally reacts to the viewer’s actions – with different animations and voiceover lines – delivering an improvised comedic performance that’s unique for each viewer.

Персонажи, которые ставят вопрос ребром

Taking advantage of Unity’s Animation toolset, Bonfire delivers high-quality, animated character performances in VR. But it’s not just about the quality of the graphics and animation, it’s how Unity enabled Baobab to bring the world and characters to life by putting pressure on the viewer to make meaningful and difficult decisions – making it feel real.

As Cutler says, “In Bonfire, your relationships with the characters change throughout the story as we raise the stakes. In VR, we can enable you to act on the empathy you are feeling and actually do something compassionate. For Bonfire, Unity enabled us to create an immersive VR world where characters react and respond to what you are doing, unlike our past experience in feature animation.”

Equipped with Unity’s latest VR tools and multiplatform support, Baobab is connecting with audiences like never before. By creating unique storytelling experiences they are breaking down physical barriers and transporting audiences – wherever they are – into immersive new worlds. 

Их собственными словами

Larry Cutler, Co-Founder and CTO, Baobab Studios

«Мы считаем, что главная сила повествования заключается в создании эмоциональных переживаний с помощью ярких образов. Если нам удастся вызвать у вас чувство сопереживания персонажам, то вам станет интересно, чем все закончится, и, может быть, вы станете больше сочувствовать окружающим вас людям».

Larry Cutler, Co-Founder and CTO, Baobab Studios
Nathaniel Dirksen, Digital Supervisor, Baobab Studios

Новая технология Scriptable Render Pipeline была очень важна для отрисовки Bonfire в реальном времени на мобильных VR-устройствах вроде Oculus Quest. SRP позволил нам высвободить ресурсы для рендеринга, оживляющего инопланетный мир».

Nathaniel Dirksen, Digital Supervisor, Baobab Studios
Larry Cutler, Co-Founder and CTO, Baobab Studios

В работе над Bonfire Unity дала нам возможность создать иммерсивное окружение, где, в отличие от предыдущих работ, персонажи реагируют и откликаются на каждое ваше действие».

Larry Cutler, Co-Founder and CTO, Baobab Studios

Мы используем cookie-файлы, чтобы вам было удобнее работать с нашим веб-сайтом. Подробнее об этом можно узнать на странице, посвященной политике использования cookie-файлов.

Согласен