Como a BMW está aproveitando o Unity para abrir novas dimensões para a experiência de condução

Com uma rica história enraizada em desempenho superior de motores, a maioria conhece a marca BMW como sinônimo de uma experiência de condução elevada. Como o Grupo BMW também é conhecido por ser pioneiro em inovações digitais na indústria automotiva na última década, não deve ser surpresa que, nos últimos anos, a equipe de pesquisa do Grupo BMW tem liderado a charge quando se trata de encontrar maneiras de trazer tecnologia de realidade aumentada para seus veículos. Sentamos com os engenheiros de pesquisa Manfred Pauli e Wolfgang Haberl para discutir sua visão para o futuro da condução e como a BMW está inovando a experiência dentro do veículo com realidade aumentada (AR).

Quais equipes ou unidades de negócios da BMW estão atualmente utilizando Unity?

Manfred: Fazemos parte da equipe de pesquisa do Grupo BMW. Construímos protótipos iniciais e fornecemos uma visão para as futuras gerações de veículos BMW. Unity é usado em toda a empresa, especialmente para projetar gráficos de exibição head-up ou desenvolver protótipos gráficos.

Como funciona este novo protótipo para uma exibição head-up? Quais são as capacidades atuais quando se trata de usar AR para construir uma nova experiência de condução?

Wolfgang: Neste caso, é uma exibição de óculos AR, então tem algumas semelhanças com o sistema head-up. Tentamos ver quais são as especificidades para óculos AR e onde eles fazem sentido além de uma exibição head-up tradicional. Nosso protótipo atual inclui alguns casos de uso relacionados ao motorista e alguns ao passageiro para demonstrar a gama de possibilidades. Para o motorista, temos a augmentação de assistência ao motorista. Você vê, por exemplo, representações gráficas de distância assistida durante o estacionamento, você tem suas setas de navegação que o guiam exatamente ao longo da estrada e nas interseções onde você deve virar. Ele também destaca outras coisas, como marcadores para buracos e canteiros de obras, bem como algumas sinalizações que você pode ignorar, como um limite de velocidade ou faixa de pedestres. Todas essas informações são trazidas para sua visão central em AR. Para o passageiro, estamos realmente tentando explorar o que pode ser um bom uso do tempo no carro. Implementamos um exemplo de jogo que permite coletar moedas que aparecem ao longo da rota de condução para ganhar pontos. Também temos um recurso que permite usar os óculos como seu cinema pessoal.

Você pode falar sobre quais objetivos você está tentando alcançar ao trazer AR para os motoristas? Você mencionou segurança e navegação, bem como a experiência geral de condução e torná-la mais imersiva. O que você espera ver?

Manfred: A BMW, como você sabe, não é um fabricante de óculos de AR. Então, o que queremos fazer é permitir que o cliente conecte seus óculos de AR existentes que já usa fora do carro. O objetivo geral é fazer qualquer conjunto de óculos de AR funcionar dentro do carro, como fizemos com o smartphone. Já existem uma infinidade de aplicativos de AR, mas o que está no mercado agora não funciona durante a condução porque o carro e a cabeça se movem. Os dispositivos precisam ser capazes de diferenciar entre esses movimentos, mas, até onde sabemos, nenhum dos fabricantes de óculos pode fazer o rastreamento necessário de 6 graus de liberdade (6-dof) sem dados adicionais do carro ainda. Desenvolvemos nosso próprio algoritmo de rastreamento de óculos, software e interface de veículo para que possamos permitir que os óculos funcionem dentro do carro. Esse é o primeiro passo.

Wolfgang: Fazer esse sistema básico funcionar tomou muito do nosso tempo nos últimos anos. Essa solução de rastreamento nos permite colocar ampliações estáveis enquanto o carro está em movimento. Agora somos capazes de colocar ativos virtuais no painel que seguem os movimentos do carro. Ao mesmo tempo, podemos colocar sinalização ou marcadores na estrada ou em um edifício ao seu redor que são independentes dos movimentos do carro ou da cabeça do usuário.

Estamos prototipando diferentes casos de uso para ver o que faz sentido e o que é útil para o motorista. Claro, sempre se trata de criar conteúdo que tornará a condução mais segura. Estamos tentando ver o que podemos exibir para reduzir sua carga cognitiva quando você tem a ampliação bem na sua frente. Testamos esses recursos com motoristas de teste em nosso simulador para estudar se seus tempos de reação melhoram ao usar os óculos em comparação com um cockpit clássico.

Os óculos de AR serão complementares ao que você está vendo no display head-up ou é basicamente a mesma informação?

Wolfgang: Acreditamos que os óculos de AR atuais poderiam ser uma ótima extensão de um sistema head-up regular. O display head-up fornece informações importantes que não estão bloqueadas pelo mundo, como velocidade do veículo, navegação passo a passo e o limite de velocidade atual. Está sempre disponível, não importa se você está usando os óculos ou não. Os óculos oferecem um enorme campo de visão, significativamente maior do que os tamanhos de imagem de qualquer display head-up. Isso permite cobrir uma boa parte do mundo real com ampliações, estendendo assim o head-up tradicional.

Vamos falar um pouco mais amplamente sobre a indústria automotiva e a adoção geral de AR. Como você disse, tudo isso está em desenvolvimento inicial. Qual você acha que é o estado atual para a maioria dos fabricantes, e o que você, como BMW, e outros estão priorizando à medida que avançam nisso?

Wolfgang: Pelo que vemos no mercado, muitas empresas estão atualmente integrando recursos de AR em seus sistemas head-up existentes, o que do nosso ponto de vista faz muito sentido. Ao mesmo tempo, essas soluções ainda estão limitadas ao campo de visão menor do sistema head-up. É por isso que colocamos muito esforço em óculos de AR para ver como eles poderiam aproveitar o campo de visão restante. Temos o único sistema agora, que funciona com um pequeno par de óculos de AR que são realmente ergonômicos e oferecem um fator de forma e design atraentes (o Xreal Air 2). Colocamos muito esforço de desenvolvimento para fazer o rastreamento funcionar em um dispositivo amigável ao cliente.

Esperamos que mais empresas que produzem óculos cooperem conosco e tornem seus óculos compatíveis com nossos veículos. No futuro, esperamos que os óculos sejam tão onipresentes quanto os smartphones. Queremos estabelecer um padrão da indústria com nossa integração para fornecer uma base comum para fabricantes de óculos e fabricantes de carros terem uma plataforma de trabalho independente de uma certa combinação de marcas de óculos e carros.

Manfred: Fomos públicos com um par diferente de óculos em 2014. Usamos óculos inteligentes ODG, e se você comparar aqueles com os que estamos usando agora, muita coisa mudou. O campo de visão quase dobrou, e a qualidade da imagem melhorou muito. Além disso, agora podemos usar Unity. Estamos realmente felizes em ver essa tecnologia amadurecer e estamos orgulhosos do nosso trabalho.

Quais limitações em torno da segurança do motorista, expectativas do consumidor ou hardware você está considerando quando pensa sobre a próxima fase disso?

Wolfgang: Do ponto de vista do consumidor, queremos que os óculos fiquem ainda menores para aumentar a usabilidade e o conforto. A maioria dos dispositivos atuais é voltada para uso interno e tem uma tonalidade muito leve. Então, se você estiver dirigindo do lado de fora sob o sol, a tonalidade pode não ser escura o suficiente para ver o conteúdo exibido. Por outro lado, se você estiver dirigindo à noite, não precisa de nenhuma tonalidade. Consequentemente, a tonalidade dinâmica é um recurso desejável. Ao mesmo tempo, você precisa de um display muito bom que forneça uma ampla gama de brilho para alcançar uma qualidade de imagem convincente mesmo sob luz solar intensa.

Muitos desses óculos também são alimentados por bateria, então têm um tempo de execução limitado. Claro, também fornecemos as informações de condução mais importantes em um dos displays embutidos do carro por razões de segurança. Ainda assim, esperamos ver o tempo de execução aumentar para viagens mais longas.

Podemos mesclar as áreas de exibição separadas de nossos diferentes sistemas no carro para evitar sobreposição. Com nosso sistema de rastreamento, sabemos exatamente para onde os óculos estão olhando, e também sabemos onde estão a área para o sistema de head-up e outros displays. Assim, podemos omitir a colocação de itens nos óculos sobre outros displays, nos dando a possibilidade de executá-los em paralelo.

Quais são suas esperanças para o papel da BMW no desenvolvimento dessa tecnologia?

Manfred: A BMW foi a primeira a introduzir a tecnologia de display head-up, inspirada pela indústria da aviação. E o que vem a seguir após o head-up? Estamos lançando uma interface de usuário completamente nova com o BMW Panoramic Vision em veículos de série a partir de 2025. Toda a largura do para-brisa é então utilizada para exibição, de pilar a pilar. Estamos sempre pensando sobre o que vem a seguir. Queremos destacar o enorme benefício dos óculos AR no carro. Nosso principal objetivo é criar máxima segurança em combinação com puro prazer de dirigir. Os motoristas da BMW não são distraídos, mas apoiados intuitivamente em sua tarefa de condução, resultando em uma empolgação adicional.

Wolfgang: Acreditamos que um passo importante é criar um padrão para a integração de carros com mais fabricantes de óculos e continuar melhorando isso. Do ponto de vista do cliente, seus óculos devem simplesmente funcionar em seu carro, independentemente dos respectivos fabricantes.

Quando se tratou de construir isso, como você tomou a decisão de escolher a Unity? Como a Unity se encaixa em seus fluxos de trabalho de desenvolvimento atuais?

Wolfgang: A maioria das empresas que oferecem óculos AR no mercado atualmente suporta a Unity. Hoje, o Unity Engine é o padrão de fato para óculos AR. Definitivamente fez mais sentido para nós optar pela Unity por essa razão.

Manfred: A Unity Asset Store foi outro benefício adicional. Os plugins de mapa da Infinity Code foram uma grande ajuda no desenvolvimento de recursos de navegação. Tivemos designers trabalhando no protótipo que traria ativos do Blender, e então os integramos no editor do Unity e os implantamos através de nossos dispositivos Android. De tudo que envolve gravar rotas com nossos carros e simulação, o Unity tem sido uma ferramenta muito personalizável que nos ajudou bastante.

Wolfgang: Sabemos que muitas vezes, projetos de pesquisa técnica são difíceis de transmitir ou explicar para não especialistas e às vezes também para tomadores de decisão. Sempre tentamos implementar casos de uso e grandes visualizações para transportar a ideia e a visão do produto final do cliente. O Unity foi uma grande ajuda ao abstrair todos os problemas de baixo nível de exibir as visualizações da maneira desejada. Isso tornou toda a nossa visão muito mais compreensível e realmente fascinou as pessoas. Permitiu que eles vissem quão legal e imersivo o futuro dos óculos de AR em veículos poderia ser.

Quer ouvir mais sobre este projeto empolgante? Assista nossa sessão aprofundada com a BMW do Unite 2024 em Barcelona.

Explore as possibilidades do Unity para automotivo, ou entre em contato conosco para mais informações.