Ethereal Matter: Conexión de la háptica de cuerpo entero con experiencias VR

El diseñador industrial Scott Summit diseñó productos para Apple, Silicon Graphics y Nike, enseñó diseño en Stanford, Singularity y Carnegie Mellon, y tiene 46 patentes relacionadas con el diseño y la tecnología. Fundó Ethereal Matter, Inc para abordar las oportunidades de fitness y salud que ofrecen las tendencias emergentes de VR y juegos.

Se ha demostrado sólidamente el potencial transformador del mundo para la VR. Nos transporta fuera de nuestra piel a una realidad que elijamos, como ninguna otra tecnología ha demostrado hasta ahora. Esta capacidad por sí sola ha impulsado una gran adopción de la capacitación militar y médica, especialmente cuando las simulaciones IRL alternativas efectivas resultan costosas o imposibles. Incluso a nivel de los consumidores, VR ha tenido éxito al abordar desafíos como el miedo a las alturas y hablar en público.

A pesar de las ricas evoluciones tecnológicas detrás de VR en los últimos años, para muchos demuestra asuntos pendientes. El potencial es palpable, pero las ofertas de hoy a menudo califican como un primer paso sólido. El mercado lo ha confirmado con tasas de adopción anticlimáticas. VR aún no ha demostrado relevancia general en nuestra vida diaria ni nos ha mostrado cómo faltaría vida sin ella. En resumen, promete inmersión total con resultados del mundo real, pero sobre todo genera una ilusión de ojos y oídos de lo que esperábamos que lograra atraer a toda nuestra comunidad.

El mundo físico es bidireccional

El mundo es, por definición, un entorno háptico bidireccional. Esa es la mejor parte. Tú interactúas, y él interactúa. Si pedaleas una bicicleta, avanzas. Tú diriges y te inclinas, y se vuelve bajo tu mando, mientras el paisaje cambia a tu alrededor. En el agua, encuentras el "lugar dulce" en tu vela, te inclinas y estás haciendo windsurf.

En VR, algunas de las aplicaciones atractivas de hápticas de suspensión baja, como el ciclismo estático y el remo, han logrado mostrarles a los usuarios lo suficientemente audaces como para avanzar hasta allí cómo la monotonía de sus contrapartes estáticas se puede transformar en escapismo mágico, lo que nos atrae hacia una salida más enérgica. Su éxito radica en la capacidad de generar una experiencia rica en medios a partir de una actividad que, de otro modo, sería anestesiada. El potencial está sólidamente demostrado, aunque limitado a pocas actividades.

Soluciones hápticas actuales: El enfoque de Hexapod

Sin embargo, lo más importante es que la industria se dedique a la inmersión háptica de cuerpo entero, que sigue siendo el "hexápodo". Cuando se combina con una experiencia visual o envolvente, esto sincroniza mecánicamente el movimiento de 6 grados de libertad (6DoF) que confirma a tu oído interno exactamente lo que tus ojos y oídos esperan. Agrega un ventilador controlable y los dispositivos resultantes pueden abarcar desde experiencias totalmente envolventes en los parques temáticos hasta los entrenadores de tanques y helicópteros del ejército.

Esta armonía entre nuestras entradas sensoriales en realidad disminuye el “mareo simulado” resultante de la disonancia entre los sentidos, simplemente conectando los puntos sensoriales. Pero la plataforma Hexapod se diseñó como un dispositivo de control de movimiento universal y multipropósito, que recién entró en servicio para VR a fin de engañar a nuestro oído interno. Deja el resto de nuestra física mayormente desacoplada.

Ingresa a plataformas interactivas de cuerpo completo

Ethereal Matter MEK es una plataforma de control de movimiento interactiva que interactúa con los brazos, las piernas y el equilibrio en experiencias virtuales interactivas, como lo haríamos en el mundo real. Al igual que con el enfoque hexápodo, MEK combina lo que esperas sentir con la sensación que experimentas físicamente. Lo que es más importante, MEK se diseñó fundamentalmente para aprovechar las oportunidades que brinda la VR, lo que inserta al usuario en un mundo rico e imaginativo al generar una interacción de cuerpo entero con los objetos que se encuentran dentro de él.

Para ello, incluye lo siguiente:

- Dos armaduras robóticas que cubren activamente el rango de movimiento humano.

- Plataformas activas que producen condiciones hápticas para las piernas.

- Gimbal sujeta las armaduras motorizadas, lo que permite que las muñecas se muevan con libertad y seguridad, mientras que los sensores detectan la menor entrada del usuario

- Escaneo LiDAR Motion Capture del usuario, lo que permite un mayor nivel de teletransportación a la escena VR como avatar de primera persona para mejorar la inmersión profunda.

Cómo MEK logra la háptica bidireccional

La háptica bidireccional es el resultado de una combinación de sensores en los efectores finales (ensamblaje de empuñadura cardánica) y código que encaja con Unity, lo que permite una sinergia entre la experiencia visual y física.

Por ejemplo, un usuario puede agarrar lo que virtualmente aparecen como controles de desaceleración en un Pod Racer estilo Star Wars y empujarlo hacia adelante para acelerar. Los sensores detectan la intención de avance, el control de movimiento guía el movimiento hacia una pista de desaceleración deslizante especificada en el Speeder virtual y el usuario ve cómo sus propias manos de avatar disparan los motores. Los motores giran a su posición, el sonido aumenta, sienten vibraciones al arrancar y la escena a su alrededor comienza a moverse. Giran con una dirección diferencial, empujando un acelerador más que el otro, como en un tractor, mientras se inclinan hacia el giro con las piernas, que perciben un "Speeder" flotante y reactivo debajo de ellas, que se asemeja a la dinámica de movimiento IRL de una moto acuática. Para el usuario, el efecto neto es una experiencia totalmente natural en un entorno surrealista.

El Speeder es solo un ejemplo de una gama casi infinita de oportunidades de simulación, recreación y capacitación. A partir de aquí, lo que se materializa se basa exclusivamente en el diseño de juegos del software Unity compatible con robots. Deportes, interacciones, recreación y actividad totalmente nuevos, todo directamente de la imaginación, ahora pueden convertirse en una experiencia real.

Con la tecnología de Unity: El núcleo de la interacción envolvente

Debajo de los sensores, motores y VR yace el núcleo de Unity. Concatena todos los datos entrantes, los combina con la experiencia de juego y controla los controles del motor. Unity integra estos ingredientes, con una capa de C++ según sea necesario, e incluye lo siguiente:

- Recopilación de datos de sensores entrantes

- Integración entre los datos del sensor y los controladores de movimiento

- El paquete Unity Physics para mejorar el realismo háptico

- Interfaz de usuario, que permite una interacción simple y gráfica con el usuario

- Contenido vasto y de alta calidad de la Unity Asset Store

- Audio espacial para mejorar la sensación de profundidad y la inmersión

- Salida VR, que permite la plataforma independiente de los visores de MEK

- canal de renderizado universal para renderizado y fotorrealismo de alta calidad, lo que mejora la sensación de realismo

- Funcionalidad Multiplayer para entrenamiento, competencia o interacción social.

- Integración de avatares en primera persona

La física integrada permite un control preciso de todo el movimiento, lo que convence al cerebro de que la entidad virtual tiene masa e inercia, así como resistencia, viento, flotabilidad o cualquier otro efecto requerido para reificar la experiencia. El estilo de renderizado puede ser realista para satisfacer las necesidades de entrenamiento y simulación, o estilizado como manga, acuarela, bloque de madera, cine negro o cualquier otro sabor que contribuya a una sensación de escapismo. Y la vasta Unity Asset Store ofrece materiales, efectos, entornos y audio ilimitados y de calidad para que la creación de nuevo contenido sea rápida y ricamente imaginativa. Esto es vital para MEK, ya que un flujo constante de nuevos mundos impulsa las interacciones de retorno.

Liberación de nuevas posibilidades en todas las industrias

Fitness y entrenamiento

Ethereal permite mejorar las experiencias tradicionales, incluidos los juegos típicamente sedentarios. Al aplicar el control de movimiento bidireccional, puedes convertirte en Tom Cruise escalando el Burj Khalifa, agitar las alas mecánicas para volar tu ornitóptero steampunk sobre la Gran Muralla China o navegar por un Hombre de Guerra en la Batalla de Trafalgar. Incluso puedes ponerte un robot avatar de 300 pies de la cuenca del Pacífico y colocar a tu compañero de cuarto universitario de todo el mundo, aplastando Tokio bajo tus pies.

El efecto neto es una interacción realmente cautivadora, más atractiva que un videojuego, más envolvente que solo VR y más atractiva que el gimnasio. Y, con la resistencia aumentada, esos movimientos se convierten en aptitud física legítima: prensas de banca y filas, moscas, sentadillas, rizos o casi cualquier cosa que uno pueda encontrar en un gimnasio bien equipado. Solo que, en lugar de aburrirte, esto aumenta tu sentido del escapismo y la aventura, combinando el fitness con el juego, basado completamente en la elección del usuario de los ajustes de resistencia háptica. Agrega física a los juegos y, de repente, el deporte electrónico se convierte en deporte, recreación y fitness, con resultados de IRL.

Dado que las armaduras cubren el rango de movimiento humano, casi cualquier actividad de fitness se puede recrear y transformar en experiencias de juego, o viceversa, adaptadas a los datos demográficos específicos. La cinemática inversa de Unity determina las proporciones del usuario y ajusta automáticamente la escala de la escena o los assets para garantizar que todo el movimiento sea biomecánicamente óptimo y se ajuste a la edad del usuario. Agrega un control total sobre los parámetros de retroalimentación de fuerza y las interacciones hápticas sutiles se convierten en un arte, lo que contribuye a la magia de la experiencia en general. Ese golpe gigantesco de robot comienza con una cuerda resistiva, seguida de la fuerza de todo el cuerpo necesaria para llevar el corte superior a casa. Sientes el estremecimiento del impacto, ves que la armadura del oponente estalla en chispas y humo, y escuchas la cacofonía mientras tu adversario vuela hacia atrás. Todos los indicadores hápticos derivan del código visual, cinemático, auditivo y de física de Unity, lo que genera una experiencia ricamente envolvente.

Fisioterapia

La funcionalidad Multiplayer de Unity transforma la plataforma en una solución completa de deportes, fitness y entrenamiento, lo que permite que los grupos compitan o colaboren independientemente de su ubicación física. Esto da como resultado deportes de equipo con un fitness auténtico y entrenamiento en el que todo el cuerpo participa de la actividad. Los deportes electrónicos envolventes se convierten en una experiencia social, físicamente exigente, de cuerpo entero. Las universidades pueden competir en competiciones internacionales e intramuros, independientemente de su equipo, ubicación, clima, presupuesto de viaje y tiempo disponible. Con MEK y Unity, una llamada de recuperación con mamá puede convertirse en una hora de remo en los canales de Venecia.

Con MEK y Unity, la terapia física (PT) se transforma del tedio al disfrute, lo que aumenta el cumplimiento y optimiza los resultados. Aquí, los modelos cinemáticos inversos de Unity, en combinación con el escaneo integrado impulsado por LiDAR, permiten la supervisión de movimiento cercano, como si estuviera presente un fisioterapeuta vigilante. Las rutas de movimiento virtuales se definen por vectores específicos, se ajustan a las proporciones del paciente y se diseñan con la resistencia exacta para obtener resultados optimizados. Una capa de gamificación aborda la deficiencia más común de la TP: la falta de cumplimiento debido a su monotonía inherente. De repente, subir a remo una alfombra mágica con amigos por el antiguo Nilo se convierte en la mejor manera de arreglar tu impacto en el hombro.

Todo esto está impulsado por la unión de Unity y la robótica a través de las plataformas de armaduras controladas por software y movimiento bidireccional.

Entrenamiento y simulación espacial

En Space, donde el fracaso no es una opción, la simulación precisa es vital para el éxito de la misión. Actualmente, Ethereal está generando entornos orientados al mercado de simulación y entrenamiento espacial, el cual presenta su propio conjunto de desafíos detallados que son imposibles de replicar en la Tierra.

Específicamente, al utilizar el paquete Physics Engine de Unity, MEK genera movimientos e interacciones complejas en un entorno virtual fotorrealista, lo que genera un entorno de entrenamiento muy preciso en todos los niveles. El renderizado estereoscópico de alta calidad de Unity simula el brillo intenso y las sombras profundas en el espacio, mientras recrea la dinámica orbital exacta de la Tierra, la Luna, el Sol y las estrellas, viajando a gran velocidad, aparentemente alrededor del aprendiz. El entorno resultante familiariza al aprendiz de astronauta con la experiencia visual del espacio antes de volar, minimizando así la carga cognitiva general in situ.

Físicamente, el Unity combina el movimiento de un aprendiz de astronauta con la resistencia inherente de un traje espacial y con la masa sin gravedad que encontrará al mover objetos pesados en el entorno de gravedad cero real. El mismo código de control de movimiento también permite que el astronauta se mueva ingrávidamente por el exterior de la estación espacial, con la mano, para equilibrar cuidadosamente la inercia excéntrica resultante del movimiento del astronauta y el traje espacial de 250 libras.

La física incorporada de Unity permite la simulación precisa del movimiento, la rotación y las colisiones multicuerpo del astronauta en cero G. La implementación simple y eficaz de Unity de física de cuerpos rígidos y colliders, e incluso tensores de inercia, fundamentalmente, permite modelar el movimiento EVA. Los tensores de inercia permiten específicamente que MEK simule la diferencia de espín entre el espín axial y el sagital en el espacio. Y, en un nivel más detallado, MEK utiliza un centro de asignación de masas manual para simular la masa excéntrica del sistema de soporte vital pesado para la espalda de un traje espacial. Específicamente, el código de MEK utiliza la "fuerza de adición en la posición" para evitar el cálculo del par resultante, lo que simplifica el código de movimiento.

Tal fidelidad en el entrenamiento envolvente genera una familiaridad y una memoria muscular enormemente mejoradas en torno a la compleja dinámica de movimiento que se encuentra en el espacio, mucho antes de salir de la Tierra.

El futuro de la tecnología envolvente

MEK quiere expandir la dimensión física y la profundidad a la ilusión sensorial iniciada por los visores VR actuales. Impulsada por las tecnologías integradas de Unity, MEK combina una amplia gama de datos (IA, control de movimiento, fusión de sensores, juegos) en experiencias únicas y profundamente envolventes que van desde el fitness hasta la participación social y el entrenamiento complejo. Básicamente, MEK, Unity genera la experiencia al armonizar las entradas y salidas sensoriales, lo que da como resultado la magia de una inmersión profunda y un verdadero escape a otro mundo.