O contexto é tudo: Mapeamento de dados entre domínios para realidade aumentada

A IA está vivendo seu auge, embora o caminho ainda não tenha sido pavimentado em termos de como ela pode ser aproveitada para experiências imersivas. A IA não é a solução para todos os problemas, mas fornece o elo perdido necessário para criar experiências aumentadas de última geração.

Considerando esse boom de IA, gostaria de falar sobre o conceito de "contexto" no que se refere à criação de experiências de realidade aumentada (AR). Um contexto é uma coleção de parâmetros que descrevem um domínio que pode ser codificado em dados processáveis por máquina. Um domínio pode ser literalmente qualquer coisa, mas no espaço de AR, existem três domínios críticos: físico, virtual e humano.

O domínio físico é o mundo em que vivemos. O contexto de um local específico pode incluir coordenadas mundiais (ou seja, uma posição geográfica), dados de varredura do ambiente, posições de objetos, clima ou imagens dos arredores - quaisquer parâmetros do mundo real que sejam relevantes para apoiar a geração de uma solução para uma necessidade específica.

O domínio virtual contém todos os dados que têm uma correlação útil com um local no mundo real. Essa é uma definição ampla, mas a ideia é essa: As experiências de AR não precisam de ativos ou modelos 3D complexos para agregar valor. Qualquer tipo de metadado de localização pode ser a base para uma experiência, por exemplo, dados de precipitação pluviométrica ou a localização do estoque em uma loja.

Por fim, o domínio humano é o conjunto de requisitos humanos, expressos em termos que uma máquina pode entender. Esse é o ponto de partida para a IA, em que o processamento de linguagem natural (NLP) e os modelos de transformadores generativos pré-treinados (GPT) desempenham um papel fundamental na conversão do contexto humano em linguagem de máquina. O domínio humano também abrange a forma como os dados gerados por máquinas são comunicados.

Gerar um contexto de domínio é uma tarefa relativamente simples. O mais complicado é garantir que as relações entre os componentes sejam utilizáveis: os sistemas de coordenadas físicas e virtuais devem estar alinhados, os Digital Twins devem estar atualizados com o mundo físico, as descrições humanas devem ser mapeadas para comportamentos treináveis, etc.

Tanto o software quanto o hardware relacionados às tecnologias emergentes, incluindo IA, robótica e a Internet das Coisas, estão evoluindo rapidamente. Até que existam padrões (para interoperabilidade, por exemplo) e práticas recomendadas que regulem sua implementação, o uso eficaz e a compatibilidade dependem do design qualificado dos componentes da rede. Mas, depois que esse sistema é projetado, você tem a base generalizada para criar experiências de realidade aumentada para qualquer aplicação, seja no setor industrial, no varejo ou na melhoria geral da produtividade.

Um exemplo de como a IA permite o mapeamento entre domínios seria um indivíduo apontando para um objeto à distância. Esse é um contexto físico que muitas tecnologias podem fornecer, mas o gesto em si não tem um significado intrínseco e não é suficiente para definir o problema que precisa ser resolvido. Pode ser uma referência a uma direção de viagem ou uma pergunta sobre um objeto. O contexto, quando correlacionado com uma linguagem como "Como faço para chegar lá?", agora forma uma consulta completa. Assim, a IA pode processar os dados físicos orientados por dados de contexto humano para "entender" as interações naturais que todos nós realizamos diariamente sem pensar nelas e gerar uma resposta apropriada. Essa transparência de solicitação/resposta está elevando todas as formas de experiência de AR, com o objetivo final de facilitar nossas vidas.

Vamos explorar alguns exemplos de como o contexto pode ser definido para diferentes aplicativos. A função principal da IA é no domínio humano, processando as solicitações dos usuários, antecipando suas necessidades, extraindo dados relevantes e facilitando a comunicação entre pessoas e dispositivos.

Pintura do quarto: Um usuário deseja pintar um espaço e gostaria de saber a quantidade de materiais necessários. Especificidades: Eles têm um dispositivo que pode medir o espaço e emitir um comando de voz perguntando quanta tinta é necessária.

• Físico: Varredura Lidar do espaço físico
• Virtual: Digital Twins do espaço criado na hora com base na digitalização física que inclui janelas, portas e paredes para determinar com precisão a área da superfície da parede
• Humanos: A correlação entre a metragem quadrada e a área de superfície que uma lata de tinta pode cobrir

Roteamento de condicionamento físico: Um usuário solicita uma variação de corrida em relação à rota normalmente utilizada. Especificidades: O usuário tem um fone de ouvido que é capaz de determinar a localização do usuário, tem um registro de rotas anteriores e pode projetar informações visuais.

• Físico: Localização do usuário e gravações de execuções anteriores
• Virtual: Mapas da área que fornecem informações sobre trilhas e calçadas
• Humanos: Compreensão do que constitui uma rota para permitir o cálculo de uma nova rota

Otimização do aeroporto: Consciência situacional e automação para melhorar o gerenciamento de operações. Um usuário precisa de avisos just-in-time para realizar atividades no aeródromo com segurança. Especificidades: O usuário tem um wearable de pulso que pode determinar a localização do usuário e tem uma conexão de dados com um Digital Twins operacional central.

• Físico: Localizações de usuários, aeronaves, ativos e objetos do mundo físico
• Virtual: Gêmeo digital do aeroporto que permite a previsão de simulação, navegação, localização de pontos de interesse e processamento geoespacial
• Humanos: Compreensão da missão, dos desafios e dos principais objetivos de segurança

Como se pode ver nesses exemplos, o valor do 3D em tempo real vai muito além da geração de visuais impressionantes. É o mecanismo principal para processar contextos entre domínios para gerar soluções espaciais para problemas. Como vivemos em um mundo 3D, não é de surpreender que o 3D em tempo real desempenhe um papel central.

O Unity, como um mecanismo de dados central, tem grande força no mercado de jogos e, por isso, sua aplicabilidade em casos de uso não relacionados a jogos é frequentemente ignorada. À medida que os wearables, dispositivos e modelos de IA avançam tecnologicamente, capturando mais e melhores dados, contextos cada vez mais ricos serão definidos, gerando soluções mais precisas. A Unity será a principal ferramenta para coletar esses dados e criar experiências que melhorem nossas vidas no trabalho e no lazer.

Estamos entusiasmados com o que nossos desenvolvedores criarão e esperamos que esta postagem do blog tenha fornecido algumas ideias sobre como estruturar suas experiências de próxima geração.

Para obter mais inspiração sobre como a IA pode impulsionar experiências imersivas, confira o potencial dos Digital Twins. E não se esqueça de se inscrever no programa Unity AI Beta.