Questão etérica: Conectando haptica de corpo inteiro com experiências em VR

O designer industrial Scott Summit criou produtos para Apple, Silicon Graphics e Nike, ensinou design em Stanford, Singularity e Carnegie Mellon e possui 46 patentes relacionadas ao design + tecnologia. Ele fundou a Ethereal Matter, Inc para abordar as oportunidades de fitness e saúde oferecidas pelas novas tendências de VR e jogos.

O potencial de mudança do mundo para VR foi validamente demonstrado. Ele nos transporta para fora da nossa pele e para dentro de uma realidade de nossa escolha como nenhuma outra tecnologia já mostrou. Somente essa capacidade impulsionou alta adoção para treinamento militar e médico, especialmente onde simulações alternativas e eficazes de IRL se revelam caras ou impossíveis. Mesmo no nível do consumidor, a VR obteve sucesso ao enfrentar desafios como o medo de altura e discursos públicos.

Apesar das evoluções tecnológicas por trás de VR nos últimos anos, para muitos ela demonstra negócios inacabados. O potencial é palpável, mas as ofertas atuais geralmente se qualificam como um primeiro passo sólido. O mercado confirmou isso com taxas de adoção anticlâmticas. VR ainda tem que demonstrar relevância global em nossa vida diária ou mostrar como a vida estaria faltando sem ela. Resumindo, ele promete imersão total com resultados reais, mas, na sua maioria, oferece uma ilusão exclusiva do que esperávamos envolver nossa totalidade.

O mundo físico é bidirecional

O mundo é, por definição, um ambiente háptico bidirecional. Essa é a melhor parte. Você interage, e isso interage de volta. Pedale uma bicicleta, ela te move em frente. Você direciona e se inclina, e ele gira sob seu comando, enquanto o cenário muda ao seu redor. Na água, você encontra o “ponto doce” em sua vela, se inclina e faz windsurf.

Em VR, algumas das aplicações hápticas atraentes e de baixa pendência - ciclismo estacionário e caminhada - conseguiram mostrar aos ousados o suficiente para ir lá como a monotonia de seus homólogos estacionários pode ser transformada em escapismo mágico, atraindo-nos para um rendimento mais energético. Seu sucesso está na capacidade de gerar uma experiência rica em mídia com uma atividade anestésica. O potencial é demonstrado de maneira sólida, embora limitado a poucas atividades.

Soluções hápticas atuais: A abordagem Hexapod

No entanto, a indústria que vai para imersão tátil de todo o corpo permanece a “Hexapod”. Quando combinado com uma experiência visual ou imersiva, isso sincroniza mecânicamente o movimento de 6 Graus de Liberdade (6DoF) que confirma ao seu ouvido interno exatamente o que seus olhos e ouvidos esperam. Adicione um ventilador controlável e os dispositivos resultantes vão desde experiências de parque temático totalmente imersivas até treinadores de tanques e helicópteros militares.

Essa harmonia entre nossas entradas sensoriais na verdade diminui a "doença sim" resultante da dissonância entre os sentidos, simplesmente conectando os pontos sensoriais. Mas a plataforma Hexapod foi projetada como um dispositivo de controle de movimento universalizado e multifuncional, apenas recentemente lançado em serviço para VR para enganar o nosso ouvido interno. Ele deixa o resto da nossa física quase desconectado.

Entre plataformas interativas inteiras

O MEK da Etheral Matter é uma plataforma de controle de movimento interativa que envolve os braços, as pernas e o equilíbrio em experiências virtuais interativas, assim como se faz no mundo real. Como a abordagem Hexapod, o MEK combina o que você espera sentir com a sensação que você experimenta fisicamente. Mais importante, o MEK foi projetado fundamentalmente para aproveitar as oportunidades possibilitadas pela VR, inserindo o usuário em um mundo rico e imaginativo gerando interação inteira com os objetos dentro dele.

Para isso, ele inclui:

- Dois armaduras robóticas que cobrem ativamente o alcance de movimento humano.

- Plataformas de pé ativas que produzem condições hápticas para as pernas.

- A pinnacle adota as armaduras motorizadas, permitindo que os pulsos se movam livremente e com segurança, enquanto os sensores detectam a mínima entrada do usuário

- LiDAR Motion Capture digitalização do usuário, permitindo um nível mais rico de teleportação para a cena de VR como sua primeira pessoa avatar para melhorar a imersão profunda.

Como a MEK alcança a háptica bidirecional

A háptica bidirecional resulta de uma combinação de sensores nos efeitores finais (conjunto de aderência gimbal) e código que combina com Unity, permitindo uma sinergia entre a experiência visual e física.

Por exemplo, um usuário pode agarrar o que parece como controles de limitação em um Pod Racer no estilo Star Wars e empurrá-los para a frente para acelerar. Os sensores detectam a intenção em frente, o controle de movimento direciona o movimento para uma faixa deslizante específica no Speeder virtual e o usuário vê suas próprias mãos de avatar disparando contra os motores. Os motores giram na posição, o som aumenta, eles sentem a vibração da inicialização e a cena ao redor deles começa em movimento. Eles giram usando a direção diferencial – empurrando um reboque mais do que o outro, como em um trator – enquanto batem na virada com suas pernas, que percebem um “Speeder” flutuante e reativo sob eles, semelhante à dinâmica de movimento IRL de um jetski. Para o usuário, o efeito líquido é uma experiência totalmente natural em um ambiente surreal.

The Speeder é apenas um exemplo de uma gama quase infinita de oportunidades de simulação, recreação e treinamento. O que se forma a partir daqui é inteiramente impulsionado pelo design de jogos no software Unity habilitado para robôs. Esportes, interações, recreação e atividades totalmente novos — tudo isso diretamente da imaginação — agora podem se tornar uma experiência real.

Powered by Unity: O núcleo da interação imersiva

Sob os sensores, motores e VR está o núcleo do Unity. Ele concata todos os dados recebidos, combina com a experiência de jogo e impulsiona os controladores de motor. O Unity integra esses ingredientes, com uma camada de C++ conforme necessário, e inclui:

- Coleta de dados de sensor recebidos

- Integração entre dados de sensor e controladores de movimento

- O pacote Unity Physics para aprimorar o realismo háptico

- Interface de usuário, permitindo interação do usuário simples e gráfica

- Conteúdo amplo e de alta qualidade da Unity Asset Store

- Áudio espacial para aprimorar a sensação de profundidade e imersão

- saída VR, habilitando a plataforma agnóstica de headset da MEK

- Pipeline de Renderização Universal para renderização de alta qualidade e fotorrealismo, aprimorando o senso de realismo

- Funcionalidade Multiplayer para treinamento, competição ou interação social.

- Integração de avatar em primeira pessoa

A física integrada permite controle preciso de todo o movimento, convencendo o cérebro de que a entidade virtual tem massa e inércia, além de resistência, vento, flutuabilidade ou qualquer outro efeito necessário para reificar a experiência. O estilo de renderização pode ser realista para atender às necessidades de treinamento e simulação, ou estilizado, como mangá, aquarela, bloco de madeira, filme noir ou qualquer outro sabor que contribua para uma sensação de escapismo. E a ampla Unity Asset Store oferece materiais, efeitos, ambientes e áudio de qualidade ilimitada para tornar a criação de novos conteúdos rápida e rica em imaginação. Isso é essencial para a MEK, já que um fluxo constante de novos mundos impulsiona compromissos de retorno.

Desenvolver novas possibilidades para todos os setores

Fit & Treinamento

O Ethereal permite aprimoramento de experiências tradicionais, incluindo jogos tipicamente sedentários. Ao aplicar o controle de movimento bidirecional, você pode se tornar Tom Cruise escalando o Burj Khalifa, dobrar asas mecânicas para voar seu ornitóptero de punk a vapor sobre a Grande Muralha da China ou navegar em um Homem de Guerra na Batalha de Trafalgar. Você pode até mesmo carregar um avatar de robô de 300 metros do Pacífico Rim e envolver seu colega de aula do mundo todo, esmagando Tóquio aos pés.

O efeito líquido é um engajamento verdadeiramente cativante, ao mesmo tempo mais atraente do que um videogame, mais imersivo do que apenas VR e mais convidativo do que o ginásio. E com a resistência surgindo, esses movimentos se tornam um condicionamento legítimo — pranchas e filas de mesa, moscas, balanços, curvas ou qualquer coisa que você possa encontrar em um ginásio bem equipado. Só que, em vez de encurtar você no chato, isso aumenta seu senso de escapismo e aventura, combinando fitness com jogos, baseado inteiramente na escolha do usuário para configurações de resistência tátil. Adicione física aos jogos, e o eSport se torna repentinamente esporte, recreação e fitness, com resultados IRL.

Como os armaduras cobrem a gama de movimento humano, quase qualquer atividade de fitness pode ser recriada e transformada em experiências de jogo — ou vice-versa — personalizadas para uma demografia específica. A cinemática inversa do Unity determina as proporções do usuário e auto dimensiona a cena ou os assets, garantindo que todo o movimento seja biomecânico e ajustado para a idade do usuário. Adicione controle total sobre os parâmetros de feedback de força, e interações hápticas sutis se tornam uma arte, contribuindo para a mágica da experiência geral. Esse impacto robótico gigante começa com um impulso de resistência, seguido pela força total do corpo necessária para conduzir o corte superior para casa. Você sente o tremor do impacto, vê a armadura do oponente explodir em faíscas e fumaça e ouve a cacofonia enquanto o oponente voa para trás. Todas as sugestões hápticas resultam do código visual, cinemático, auditivo e habilitado para física do Unity, resultando em uma experiência rico em imersão.

Terapia Física

A funcionalidade multijogador do Unity transforma a plataforma em uma solução completa para esportes, fitness e treinamento, permitindo que coortes competam ou colaborem independentemente da localização física. Isso resulta em esportes em equipe com condicionamento físico autêntico e treinamento no qual todo o corpo participa da atividade. Os eSports imersivos se tornam uma experiência social, fisicamente exigente e cheia de corpo. As faculdades podem competir na competição interna e intramural, independentemente do equipamento, da localização, do clima, do orçamento de viagens e do tempo disponível. Com MEK e Unity, uma chamada com a mãe pode se tornar uma hora de paddleboard nos canais de Veneza.

Com MEK e Unity, a terapia física (PT) se transforma de tediosa em prazer, aumentando a conformidade enquanto otimiza os resultados. Aqui, os modelos cinemáticos inversos do Unity, combinados com a digitalização integrada controlada por LiDAR, permitem monitoramento de movimento próximo, como se um terapeuta físico vigilante estivesse presente. Os caminhos de movimento virtual são definidos por vetores específicos, dimensionados de acordo com as proporções do paciente e projetados com a resistência exata para obter resultados otimizados. Uma camada de gamificação aborda a falha mais comum do PT: falta de conformidade devido à monotonia inerente. De repente, montar um tapete mágico com amigos ao longo do antigo Nilo torna-se a melhor maneira de corrigir o impacto do ombro.

Tudo isso é impulsionado pelo casamento entre Unity e robótica por meio de armaduras controladas por software e movimento bidirecional.

Aula de treinamento e simulação

No Space, onde a falha não é uma opção notória, a simulação precisa é essencial para o sucesso da missão. Atualmente, a Ethereal está gerando ambientes voltados para o mercado de treinamento espacial e simulação, que apresenta seus próprios desafios diferenciados que são impossíveis de replicar na Terra.

Especificamente, usando o pacote do Unity Physics Engine, o MEK gera movimentos e interações complexos em um ambiente fotorrealista e virtual, resultando em um ambiente de treinamento altamente preciso em todos os níveis. A renderização esterioscópica de alta qualidade do Unity simula o brilho intenso e sombras profundas no espaço, enquanto recria a dinâmica orbital exata da Terra, da Lua, do Sol e das estrelas, viajando a alta velocidade, aparentemente ao redor do participante. O ambiente resultante familiariza o astronauta treinado com a experiência visual do espaço antes de subir, minimizando a carga cognitiva geral, no local.

Fisicamente, o Unity combina o movimento de um astronauta treinado com a resistência inerente de um traje espacial e com a massa sem gravidade que ele encontrará ao mover objetos pesados no ambiente real de gravidade zero. O mesmo código de controle de movimento também permite que o astronauta se mova sem peso pelo exterior da estação espacial, entregando-se, equilibrando cuidadosamente a inércia excêntrica resultante do astronauta e do traje espacial de 250 libras em movimento.

A física integrada do Unity possibilita a simulação precisa de movimento de astronauta, rotação e colisões de vários corpos em zero G. A implementação simples e eficiente do Unity de física de corpos rígidos e colliders, e até tensores de inércia, possibilita fundamentalmente a modelagem do movimento EVA. Os tensores de inercia permitem especificamente que a MEK simule a diferença na rotação entre a rotação axial e sagital no espaço. E em um nível mais diferenciado, a MEK usa um centro de atribuição de massa manual para simular a massa excêntrica do sistema de suporte vital pesado de uma roupa espacial. Especificamente, o código da MEK usa a "força de adição na posição" para evitar o cálculo do torque resultante, simplificando assim o código de movimento.

Essa fidelidade no treinamento imersivo aumenta significativamente a familiaridade e a memória muscular em torno da dinâmica de movimento complexa encontrada no espaço, muito antes de sair da Terra.

O futuro da tecnologia imersiva

A MEK quer ampliar a dimensão física e a profundidade para a ilusão sensorial iniciada pelos headsets de VR atuais. Impulsionada pelas tecnologias integradas da Unity, a MEK une uma ampla gama de dados — IA, controle de movimento, fusão de sensores, jogos — em experiências únicas e profundamente imersivas que vão desde o treinamento complexo até o engajamento social. No núcleo da MEK, a Unity gera a experiência harmonizando entradas e saídas sensoriais, resultando na mágica da imersão profunda e de uma verdadeira fuga para outro mundo.