Um olhar para o futuro da computação espacial com o Owlchemy Labs

Estamos entrando na nova era da computação espacial, em que ferramentas robustas de realidade estendida (XR) e fluxos de trabalho flexíveis podem permitir que os desenvolvedores adicionem interações, dimensionem gráficos, criem protótipos e testem no Editor. NoRelatório de jogos Unity de 2024prevemos uma maior demanda por jogos XR, e muitos dos estúdios participantes concordam com essa previsão.

A defensora sênior da Unity, Antonia Forster, sentou-se com Andrew Eiche, CEOwlda Owlchemy Labs, para conhecer sua perspectiva sobre o futuro da computação espacial e dicas práticas sobre o desenvolvimento para o Apple Vision Pro.

Antonia Forster: Olá, Andrew, obrigado por participar. Vamos começar olhando para o futuro. O que você vê como o futuro da RV e da computação espacial?

Andrew Eiche: Uma das maiores mudanças que estamos fazendo é usar os dispositivos XR como um ambiente geral de computação espacial para tarefas específicas de domínio, com o Apple Vision Pro e as alterações no sistema operacional do Meta liderando o caminho. Estamos tentando resolver o paradigma de como fazer uma carga de trabalho genérica em RV em comparação com uma carga extremamente específica.

Como será quando realmente quisermos trabalhar em XR? Estamos tentando pegar tarefas existentes e transferi-las para um paradigma idêntico em um ambiente espacial. Esperamos que os desenvolvedores se adaptem rapidamente e que possamos entender a amplitude e a profundidade dessa mídia.

Isso é muito importante para que possamos descobrir a utilidade e a intuitividade da tecnologia. Nesse setor, as plataformas se enquadram em um espectro desses marcadores, e aquelas com maior potencial de adoção estão no quadrante de alta utilidade e alta intuitividade. Com a RV, queremos garantir que ela siga nessa direção: altamente útil e intuitiva, o quadrante em que se enquadram telefones, PCs e smart TVs.

Olhando para o futuro, pensar em computação espacial ajuda a tornar a RV mais útil, mas ainda precisamos trabalhar em sua acessibilidade. Como podemos fazer isso? Mudamos o vetor de entrada principal para nos alinharmos com a plataforma em que os jogadores mais se concentram: o celular. A partir daí, precisamos nos concentrar em remover o atrito com a implementação do rastreamento das mãos, tornando os fones de ouvido mais leves e obtendo uma ótica melhor.

Você falou sobre a evolução da tecnologia. Que outras tendências tecnológicas você acha que podem impactar o XR nos próximos anos?

O splatting gaussiano é incrível, e acho que o próximo passo para ele será descobrir uma melhor captura e animação. Resolvemos o problema errado com a captura tridimensional, em que presumimos que, se apenas cobríssemos o espaço e as câmeras ou usássemos campos de luz, seria ótimo, mas há algo que funciona melhor, como um Gaussiano transparente. Acho que veremos um grande impulso nesse sentido e na descoberta de como otimizá-lo.

Também acho que a IA terá uma influência. Um dos casos de uso realmente interessantes que estou aguardando é quando não precisarmos renderizar o quadro inteiro, apenas parte dele. E se renderizarmos 30% e, em seguida, passarmos para uma Unidade de Processamento de Tensor (TPU), e ela simplesmente preencher o espaço com base em todos os dados que tem antes e depois? De repente, o chip gráfico que está no nosso fone de ouvido agora é compatível com o PC. É literalmente como os reflexos funcionam para a NVIDIA RTX™, portanto, já estamos seguindo esse caminho.

Há também a IA preenchendo as lacunas da pintura de peso, ou vendo a IA generativa substituir potencialmente um algoritmo de melhor ajuste como um tweening. Um algoritmo de melhor ajuste tem peças para construir e, se o ajuste ideal estiver na metade do caminho entre as peças, usar a IA generativa para mover o controle deslizante até a metade é interessante, útil e tem o controle do artista. Isso seria ótimo para animadores que desejam se concentrar em fazer suas poses principais e não perder tempo com a interpolação. A IA pode ajudar com isso e, em seguida, o animador pode entrar e limpar.

Obrigado por suas informações! Com base na tendência do espaço XR, qual é o seu conselho para os desenvolvedores que estão entrando nessa era da computação espacial?

Do ponto de vista do design de interação, você precisa analisar a maneira como interage com algo e não tentar encaixar um pino quadrado em um buraco redondo. É tentador para os desenvolvedores entrarem de cabeça e se aprofundarem no assunto, mas, como um novo desenvolvedor, recomendo abordar a computação espacial lentamente. Não tenha pressa em empilhar os blocos de construção certos.

Por exemplo, ao portar o Job Simulatorcomeçamos pensando nos momentos certos para usar as interações no nível do sistema operacional. Quando colocamos uma janela do SwiftUI para a versão do Apple Vision Pro, discutimos quando usar a pinça. Nós realmente acompanhamos como a Apple o utiliza porque eles são extremamente específicos sobre quando e para que usá-lo.

Quando você não está interagindo com uma janela, está interagindo com um objeto 3D. Nesse ponto, você precisa parar de pensar nisso como um aplicativo em um monitor 2D e pensar mais em um design de produto físico para um objeto do mundo real. Projete objetos de forma intuitiva, seguindo os princípios do design de objetos do mundo real. Certifique-se de testar continuamente a experiência do usuário e perceba que a única coisa que conta é quando o jogo está sendo testado com usuários reais em um espaço real, em um dispositivo. Você precisa fazer o trabalho.

É fundamental que você o tenha em suas mãos e que outras pessoas interajam com ele. Recomendo reservar bastante tempo para as modificações. A experiência pode ser diferente em diferentes plataformas. As especificações podem ser diferentes e é importante ser flexível.

Por fim, o que há de especial na RV é a forma de explorá-la. Nossa versão de exploração inclui sentar-se em uma mesa com gavetas fechadas e remexer nela. É incrivelmente interessante pegar cada objeto e ver como ele funciona e interage. Um dos principais motivos pelos quais os jogadores preferem essa interação é que estamos colocando coisas em suas mãos e permitindo que eles realmente mexam com o mundo ao seu redor e descubram como é esse mundo. Não estamos fazendo com que eles interajam com algo que está longe ou do qual estão desconectados.

Para ser mais detalhado sobre as dicas de computação espacial, que conselho você daria aos desenvolvedores que desejam portar ou desenvolver jogos para o Apple Vision Pro? Como foi sua experiência ao usar o suporte a visionOS do Unity durante a portabilidade do Job Simulator?

Temos trabalhado em estreita colaboração com a Unity e a Apple e nos alinhado sobre a melhor maneira de dar vida às nossas esperanças e visão. Conseguimos que o Job Simulator fosse executado muito rapidamente no Apple Vision Pro e o usamos de forma semelhante à criação no iOS. Um dos aspectos que levou algum tempo para ser trabalhado foi o de torná-lo um jogo totalmente imersivo. O Unity teve de chamar uma função que comunicaria o resultado desejado ao sistema operacional da Apple. Antes disso, sempre encontrávamos uma janela plana e, se você a fechasse, o jogo terminava.

Estávamos desenvolvendo um jogo totalmente imersivo e, sendo um sistema operacional de computação geral, sair de um jogo é algo novo para nós. Na construção para PC, nunca tivemos a segunda etapa de sair do aplicativo, pois o jogador pode simplesmente pressionar o X. Quando o colocamos no Quest, era realmente binário e o jogo funcionava ou não. De repente, no Apple Vision Pro, estávamos em um dispositivo em que o jogo podia ficar em segundo plano, e precisávamos trabalhar para descobrir como realmente sair do aplicativo.

Meu conselho é que você seja realmente colaborativo e aberto. Nunca se sabe quando alguém terá a solução para um gargalo que você está enfrentando. Isso não é bom apenas para você, mas para a comunidade como um todo. Somos extremamente ativos nos fóruns de discussão, abrindo tíquetes e conversando com a Unity. Isso nos ajuda a encontrar soluções que também beneficiam o restante da comunidade. O envio de relatórios de bugs para lá nos deu a oportunidade de trabalhar com outros desenvolvedores que estão em situações semelhantes. Isso definitivamente acelera nossa curva de aprendizado e é fundamental para nos ajudar a avançar no desenvolvimento.

Eu gostaria de encerrar esta entrevista com uma última pepita de inspiração e percepção para nossa comunidade. Qual foi a coisa mais valiosa que você aprendeu sobre o desenvolvimento do visionOS e que levará para seu próximo projeto do Apple Vision Pro?

Há anos, vivemos em dois ecossistemas: Windows PC e Android. Ao passar para o desenvolvimento do visionOS, que compartilha muitas semelhanças com outros sistemas operacionais da Apple, aprendemos em quais pontos fizemos suposições e nos apoiamos um pouco mais no sistema operacional de uma forma potencialmente incorreta. Descobrimos onde poderíamos ter feito melhor.

Outro insight importante a ser lembrado é o valor do Facetime e do compartilhamento de sua tela para mostrar a outras pessoas o que você está vivenciando, por exemplo, para depuração. Essa tela é o seu aplicativo em execução, seu código em execução, e outras pessoas podem ver sua visualização perfeitamente. Isso é algo que é notoriamente difícil de ser feito por outros fones de ouvido, e o Apple Vision Pro faz isso sem esforço. Essa seria a minha dica rápida.

Quer saber mais? Leia nosso novoRelatório de jogos Unity2024 e confira esta lista de reprodução de vídeo, na qual criadores especializados discutem as maiores tendências de desenvolvimento de jogos deste ano.

Se você estiver pronto para mergulhar no suporte do Unity para o Apple Vision Pro, poderá obter dicas de outros desenvolvedores que estão desenvolvendo para o Apple Vision Pro e compartilhar seus comentários no fórum de discussão sobre AR/VR/XR.