Apresentando a primeira demonstração de realidade mista fotorrealista do mundo feita pela Varjo e pela Volvo

Veja os bastidores de um ambicioso projeto automotivo feito com Unity pela Varjo, fabricante de headsets VR/XR industriais conhecidos por sua qualidade visual superior em VR.

A equipe da Varjo está por trás de alguns dos projetos mais inovadores no mundo da realidade mista. Anteriormente, eles compartilharam conosco um ambiente baseado em fotogrametria que criaram em VR, e hoje eles compartilharão como, juntamente com a Unity e a Volvo, inovaram em uma demonstração que une os mundos real e virtual como nunca antes.

Veja em primeira mão esse projeto pessoalmente na Unite Copenhagen. A Volvo e a Varjo estarão no local apresentando essa experiência, além de falarem em várias sessões:

• Como a Volvo adotou o 3D em tempo real e sacudiu o setor automotivo
• Criação de experiências de VR e MR de última geração usando o VR-1 e o XR-1 da Varjo
• Mobilidade futura, carros inteligentes e direção autônoma: Preparando-se para uma nova era na Volvo

O conteúdo abaixo é cortesia da Varjo.

Realidade mista significa misturar conteúdo virtual com o mundo real. Até agora, a realidade mista foi obtida com a transparência óptica, em que o usuário vê objetos digitais aumentados sobre a realidade por meio de um par de óculos. Isso é bom para retratar infográficos ou jogos, mas para cenas realistas, oferece pouco valor. Os dispositivos ópticos transparentes não podem exibir conteúdo preto ou opaco sobre o mundo real. Tudo parece nebuloso e holográfico.

Nós da Varjo queríamos nos livrar dessa limitação e poder renderizar conteúdo opaco e fotorrealista, onde é impossível distinguir entre o que é real e o que é virtual. Nossa missão era tornar possível a realidade mista fotorrealista com passagem de vídeo. A passagem de vídeo significa usar câmeras para digitalizar o mundo em tempo real e, em seguida, mostrar o resultado combinado do real misturado com o virtual para o usuário.

Antes de conseguirmos isso, primeiro precisávamos de um fone de ouvido de VR capaz de exibir o mundo real na resolução dos olhos humanos. É por isso que lançamos nosso primeiro produto de resolução de olho humano, o VR-1, voltado para usuários profissionais, no mercado em fevereiro de 2019.

E na Augmented World Expo 2019, em Santa Clara, mostramos um vislumbre da mágica que pode ser realizada com a passagem de vídeo. Demonstramos publicamente nosso novo headset XR-1 Developer Edition pela primeira vez com uma demonstração conjunta com a Volvo, feita com Unity. Com o XR-1, você pode combinar perfeitamente o conteúdo virtual com a realidade, com latência extremamente baixa e rastreamento ocular integrado, em resolução superior.

Veja como foi criada a primeira demonstração de realidade mista fotorrealista do mundo.

Este vídeo é um material não modificado gravado com o Varjo XR-1 Developer Edition. Com o XR-1, é possível ver conteúdo virtual fotorrealista misturando-se à realidade em um campo de visão completo. Você também pode alternar sem problemas do XR para o VR completo.

A Varjo começou a trabalhar em um headset de realidade mista com passagem de vídeo no início de 2018. A colaboração entre a Varjo e a Volvo também começou na primavera de 2018, quando a Volvo delineou a necessidade de um fone de ouvido XR que lhes permitisse testar vários elementos de carros futuros - como telas de heads up, novos materiais e IU para sistemas de infoentretenimento - dentro de um carro real enquanto dirigia em uma pista de teste real. Os altos requisitos de legibilidade e baixa latência necessários para dirigir um carro em uma pista de testes levaram Varjo a ter sucesso no desenvolvimento de produtos.

Como o Unity já funcionava bem no VR-1, foi uma escolha natural testar como os objetos virtuais apareceriam na realidade mista. O fato de o Unity ser fácil de integrar e estender com bibliotecas C++, como nosso próprio plug-in Varjo, possibilitou que estendêssemos nosso plug-in para oferecer suporte à realidade mista. Simplesmente definindo o fundo vazio em uma cena de VR para ser substituído pelo sinal de passagem de vídeo, conseguimos ver rapidamente objetos virtuais em um ambiente real.

A colaboração estreita e as iterações rápidas foram possíveis graças à facilidade de uso do Unity, pois nossa equipe estava desenvolvendo e melhorando a passagem simultaneamente, enquanto trabalhava lado a lado com nosso cliente. Um ano depois, a primeira demonstração pública do XR-1 deu vida aos recursos de nossa tecnologia, combinados com os modelos superiores da Volvo e os gráficos fotorrealistas da Unity.

A demonstração ilustra o poder da realidade mista de passagem de vídeo em oposição à visão óptica. Nesta demonstração, você tem as seguintes etapas:

1. Experimente a realidade real

Você vê o mundo real ao seu redor por meio do headset XR-1. O mundo real é transmitido com latência <10ms por meio das câmeras de alta resolução na placa frontal. Você vê o mundo em um campo de visão completo e em alta resolução com uma taxa de quadros de 90 Hz, o que dá a sensação de não usar nenhum headset (ou seja, ver o mundo real com seus próprios olhos). Você pode caminhar e explorar o mundo real livremente.

2. Entre na realidade mista fotorrealista

Um belo Volvo XC60 surge à sua frente. Ele aparece primeiro como um wireframe azul transparente estilizado. O carro virtual é ancorado no piso real da sala ao seu redor e orientado de forma que a cadeira na cabine fique alinhada com o assento do motorista do carro virtual. O espectador pode se sentar na cadeira real e ainda é capaz de ver o ambiente real por meio do wireframe.

O carro agora se transforma em um modelo sólido, e as superfícies passam de transparentes a opacas. O carro virtual projeta sombras no chão do mundo real e, olhando para a superfície do carro, é possível ver que o mundo real é refletido nas superfícies do carro. Os reflexos vêm de um mapa de cubo HDR que foi tirado durante a configuração no local exato do carro. O mesmo mapa de cubo também é usado para a iluminação ambiente.

Essa é a primeira vez que o espectador vê uma realidade mista opaca, e o efeito é impressionante. Você ainda pode ver o mundo real e seus colegas através dos para-brisas.

Como isso foi feito: O modelo do carro foi fornecido à Varjo pela Volvo. Como a resolução do fone de ouvido e do carro era muito alta, precisávamos fazer o máximo de pré-processamento possível. A iluminação foi incorporada no DCC às texturas e multiplicada em shaders personalizados. As texturas cozidas lidavam apenas com a oclusão e o sombreamento ainda é afetado pelo skybox.

Mattias Wilkenmalm, da Volvo, cuidou da criação de ativos e escreveu sombreadores de pintura de carro personalizados que proporcionaram resultados superiores. Nós simplesmente os modificamos para obter a aparência e as transições de que precisávamos. O modelo final tem cerca de 7 milhões de polígonos e cerca de 150 texturas 4K.

3. Transfira-se perfeitamente para a realidade virtual - e vice-versa.

Em seguida, o espectador é convidado a sair do carro, e fazemos a transição para Veneza. As últimas partes do mundo real ao redor do espectador estão desaparecendo em uma transição única à medida que a realidade se transforma em uma cena virtual de Veneza, onde o carro está estacionado em um dos becos. Os reflexos no carro agora são os de Veneza, e as sombras do carro agora estão pousando nas ruas de Veneza.

Depois de algum tempo, fazemos a transição de volta do mundo virtual para o mundo real. Agora, o usuário pode dar a volta no carro virtual e ver todos os detalhes e reflexos. Isso mostra que o XR-1 oferece a capacidade de interagir com outros e selecionar apenas as partes que você deseja virtualizar.

Como isso foi feito: Para tornar as transições visualmente agradáveis, Timotei Ghiurau, Líder de Experiências Virtuais e Pesquisa XR da Volvo, usou o ruído 3D do espaço mundial com recortes alfa para trazer o carro e o ambiente. Isso é rápido de fazer no fragmento e fica muito legal. Foi uma combinação perfeita para lidar com prazos apertados. As funções de ruído podem ser obtidas no repositório de Keijiro da Unity.

Para obter a transição suave para os reflexos do carro, o ambiente de Veneza foi adicionado a uma camada separada para que a sonda de reflexo em tempo real estivesse renderizando apenas a quantidade mínima de geometria. A sonda de reflexão foi renderizada a 30 quadros por segundo, enquanto a cena é renderizada a uma taxa de quadros muito maior. O fato de a transição ser visível na sonda de reflexão acrescentou muito mais imersão à cena.

O fato de o XR-1 ser o primeiro headset do gênero a oferecer a capacidade de alternar perfeitamente entre a realidade real e a realidade mista, passando para a VR completa e voltando para a realidade novamente, torna a demonstração muito impressionante. É um momento semelhante ao de Matrix ver a realidade ao redor desaparecer e ser substituída por uma cena virtual - e depois voltar a viajar.

---

Nossos agradecimentos a Varjo por compartilhar esta publicação conosco. Junte-se a nós na Unite Copenhague para ver o VR-1 e o XR-1 Developer Edition em primeira mão. Comece a desenvolver aplicativos XR hoje mesmo com a Unity Industrial Collection.