Olhos, mãos, simulação e amostras: O que há de novo no Unity XR Interaction Toolkit 2.3
O XR Interaction Toolkit (XRI) é um sistema de interação de alto nível, baseado em componentes, para a criação de experiências de VR e AR. Ele fornece uma estrutura comum para interações e simplifica a criação entre plataformas. Essa atualização adiciona três recursos principais: rastreamento do olhar e das mãos para interações mais naturais, recursos audiovisuais para dar vida às interações e um simulador de dispositivo aprimorado para testar no Editor. Para ajudá-lo a começar, vamos explorar cada adição em mais detalhes.
Para obter uma análise mais detalhada da atualização, confira o que há de novo no XRI 2.3 ou explore o projeto de amostra.
O desenvolvedor de XR e fundador do LearnXR.io, Dilmer Valecillos, criou um incrível tutorial em vídeo sobre o XRI 2.3:
Junto com o XRI 2.3, estamos enviando o pacote Unity XR Hands em pré-lançamento. O XR Hands é um novo subsistema XR que adiciona APIs para permitir o rastreamento de mãos no Unity. Ele inclui suporte integrado no lançamento para OpenXR, com suporte para plataformas Meta em breve. Além disso, os fornecedores externos de hardware podem canalizar os dados de rastreamento manual de seu XR SDK existente seguindo a documentação da API fornecida.
Esta versão do XRI inclui a Hands Interaction Demo, um pacote de amostra que apresenta uma configuração de interação com as mãos em que é possível alternar entre as mãos e os controladores sem alterar nada na cena do dispositivo. Usando essa funcionalidade, seu conteúdo pode começar com uma configuração de controle padrão, mas fazer uma transição perfeita para as mãos para tarefas específicas ou interações naturais no jogo.
O XR 2.3 também oferece suporte a interações naturais por meio do XR Poke Interactor. Isso permite que você cutuque usando as mãos ou os controladores na interface do usuário 3D ou em elementos de tela UGUI habilitados para XRI.
Novos headsets, como o HoloLens 2, o Meta Quest Pro e o PlayStation® VR2, incluem sensores para rastrear para onde os usuários estão olhando. As interações baseadas no olhar podem ajudá-lo a criar aplicativos para XR que pareçam mais naturais e forneçam uma maneira adicional de interagir com o conteúdo. Para dar suporte a esse tipo de interação, apresentamos o XR Gaze Interactor, acionado por poses de olhar para os olhos ou para a cabeça. Você pode usar esse interator para manipulação direta, como passar o mouse ou selecionar ao se concentrar nos interatáveis.
Como geralmente não recomendamos que os aplicativos sejam controlados inteiramente com os olhos, introduzimos uma forma adicional de controlador e assistência de interação baseada na mão para ajudar os usuários a selecionar objetos específicos: o XR Interactable Snap Volume. Esse componente complementa o interator de olhar, pois permite o encaixe de interações em um interagível próximo ao mirar em uma área definida ao redor de um objeto. Os volumes de encaixe também podem ser usados sem o interator de olhar para facilitar a seleção de objetos para os usuários.
A Tobii, líder global em tecnologia de rastreamento ocular, ajudou com os conceitos e a pesquisa. Se estiver interessado em saber mais, você pode navegar pela base de conhecimento de conceitos de rastreamento ocular.
O uso das mãos para interação é diferente do uso de controles, pois não há feedback tátil ou háptico para confirmar quando ocorre uma interação. O sistema de affordance, um conjunto de componentes de desempenho que anima objetos ou aciona efeitos sonoros em reação ao estado de interação de um objeto, ajuda a atenuar essa lacuna de feedback. Esse sistema foi desenvolvido para funcionar com qualquer combinação de interator e interagível em projetos novos e existentes.
O novo XR General Grab Transformer reduz a complexidade da hierarquia e permite que um transformador de uso geral ofereça suporte a interações com uma ou duas mãos em um interagível, em vez de vários transformadores de agarrar. Ele também permite o dimensionamento com duas mãos, permitindo que você dimensione objetos para cima e para baixo movendo as mãos separadas ou juntas, semelhante ao zoom in e out em um telefone celular.
Também adicionamos um componente Interaction Group. Esse comportamento permite que o desenvolvedor agrupe os interatores e os classifique por prioridade, o que permite que apenas um único interator por grupo interaja em um determinado momento. Por exemplo, quando um interator Poke, Direct e Ray são agrupados, pressionar um botão bloqueará temporariamente a interação dos outros interatores com a cena. Isso evita que você pegue acidentalmente algo próximo quando estiver trabalhando à distância e evita que os raios incidam sobre a cena quando você estiver pegando ou cutucando um objeto de perto.
Testar aplicativos XR em um fone de ouvido é importante, mas testar no Editor ajuda a reduzir o tempo de iteração. Nesta versão, o XR Device Simulator recebeu uma grande atualização de usabilidade com um novo widget de interface do usuário na tela que facilita a visualização de quais entradas acionam o simulador e quais estão ativas no momento.
Novos modos de simulação também foram adicionados para que você possa alternar entre os modos de controle mais usados. Na inicialização, o simulador do dispositivo ativa o novo modo de tiro em primeira pessoa (FPS), que manipula o fone de ouvido e os controladores como se todo o jogador estivesse girando o tronco. Em seguida, você pode percorrer os outros modos para manipular dispositivos individuais: o fone de ouvido, o controle esquerdo e o controle direito. Para usar o XR Device Simulator Devices, importe a amostra do Package Manager.
Já faz um bom tempo que estamos esperando, e nosso projeto de amostra atualizado finalmente está aqui. Ele mostra a variedade de blocos de construção de experiência XR que você pode usar no XRI 2.3. O projeto é dividido em estações que o ajudam a entender como cada recurso principal do XRI funciona, e inclui exemplos simples e avançados para cada um deles. Você pode acessar o projeto de amostra no GitHub e usá-lo para dar o pontapé inicial em seu próximo aplicativo XR.
Embora ainda seja cedo para os olhos e as mãos no XR Interaction Toolkit, estamos sempre trabalhando para facilitar a criação de experiências expressivas em XR. À medida que avançamos em direção ao XRI 2.4 e aos próximos anos, gostaríamos de receber seus comentários. Também gostaríamos de ver o que você construiu com essas ferramentas, portanto, sinta-se à vontade para incluir a hashtag #unityXRI ao postar nas mídias sociais.