Ethereal Matter : Connecter les haptiques corporels complets avec les expériences VR

Le designer industriel Scott Summit a conçu des produits pour Apple, Silicon Graphics et Nike, a enseigné le design à Stanford, Singularity et Carnegie Mellon, et détient 46 brevets liés au design + technologie. Il a fondé Ethereal Matter, Inc pour aborder les opportunités de fitness et de santé offertes par les tendances émergentes de la VR et des jeux.

Le potentiel révolutionnaire de la VR a été solidement démontré. Elle nous transporte hors de notre peau et dans une réalité de notre choix comme aucune autre technologie ne l'a encore montré. Cette capacité seule a entraîné une forte adoption pour la formation militaire et médicale, surtout là où des simulations IRL alternatives efficaces s'avèrent coûteuses ou impossibles. Même au niveau des consommateurs, la VR a réussi à relever des défis comme la peur des hauteurs et la prise de parole en public.

Malgré les riches évolutions technologiques derrière la VR ces dernières années, pour beaucoup, elle démontre des affaires inachevées. Le potentiel est palpable, mais les offres d'aujourd'hui se qualifient souvent comme un solide premier pas. Le marché a confirmé cela avec des taux d'adoption anticlimactiques. La VR n'a pas encore démontré sa pertinence universelle dans notre vie quotidienne ni montré comment la vie serait dépourvue sans elle. En bref, elle promet une immersion totale avec des résultats dans le monde réel mais livre principalement une illusion aux yeux et aux oreilles de ce que nous espérions engager notre totalité.

Le monde physique est bidirectionnel

Le monde est, par définition, un environnement haptique bidirectionnel. C'est la meilleure partie. Vous interagissez, et il interagit en retour. Vous pédalez sur un vélo, il vous fait avancer. Vous dirigez et vous penchez, et il tourne sous votre commande, tandis que le paysage change autour de vous. Sur l'eau, vous trouvez le 'point idéal' dans votre voile, vous vous penchez, et vous faites de la planche à voile.

En VR, certaines des applications haptiques engageantes et accessibles - le cyclisme stationnaire et l'aviron - ont réussi à montrer à ceux qui osent y aller comment la monotonie de leurs homologues stationnaires peut être transformée en escapisme magique, nous incitant à un effort plus énergique. Leur succès réside dans la capacité à générer une expérience riche en médias à partir d'une activité autrement anesthésiante. Le potentiel est solidement démontré, bien que limité à peu d'activités.

Solutions haptiques actuelles : L'approche Hexapod

Cependant, l'industrie se tourne principalement vers l'immersion haptique corporelle complète, qui reste le ‘Hexapod’. Lorsqu'il est associé à une expérience visuelle ou immersive, cela synchronise mécaniquement le mouvement à 6 degrés de liberté (6DoF) qui confirme à votre oreille interne exactement ce que vos yeux et vos oreilles attendent. Ajoutez un ventilateur contrôlable, et les dispositifs résultants vont des expériences de parc à thème entièrement immersives aux formateurs de chars et d'hélicoptères militaires.

Cette harmonie entre nos entrées sensorielles diminue en fait le ‘mal des simulateurs’ résultant de la dissonance entre les sens, simplement en reliant les points sensoriels. Mais la plateforme Hexapod a été conçue comme un dispositif de contrôle de mouvement universel multipurpose, récemment intégré au service de la VR pour tromper notre oreille interne. Elle laisse le reste de notre physicalité principalement désengagée.

Entrez dans des plateformes interactives corporelles complètes

La MEK d'Ethereal Matter est une plateforme de contrôle de mouvement interactive qui engage les bras, les jambes et l'équilibre dans des expériences virtuelles interactives, tout comme on le ferait dans le monde réel. Comme l'approche Hexapod, la MEK marie ce que vous vous attendez à ressentir avec la sensation que vous vivez physiquement. Plus important encore, la MEK a été fondamentalement conçue pour embrasser les opportunités offertes par la VR, en insérant l'utilisateur dans un monde riche et imaginatif en générant une interaction corporelle complète avec les objets qui s'y trouvent.

À cette fin, il comprend :

- Deux armatures robotiques qui couvrent activement la plage de mouvement humain.

- Plates-formes de pieds actives qui produisent des conditions haptiques pour les jambes.

- Poignées de cardan sur les armatures motorisées, permettant aux poignets de bouger librement et en toute sécurité, tandis que des capteurs détectent le moindre mouvement de l'utilisateur.

- Numérisation par capture de mouvement LiDAR de l'utilisateur, permettant un niveau de téléportation plus riche dans la scène VR en tant qu'avatar à la première personne pour améliorer l'immersion profonde.

Comment MEK réalise des haptiques bidirectionnelles

Les haptiques bidirectionnelles résultent d'une combinaison de capteurs dans les effecteurs finaux (assemblage de la poignée de cardan) et de code qui s'harmonise avec Unity, permettant une synergie entre l'expérience visuelle et physique.

Par exemple, un utilisateur peut saisir ce qui apparaît virtuellement comme des commandes d'accélérateur sur un Pod Racer de style Star Wars et les pousser vers l'avant pour accélérer. Les capteurs détectent l'intention d'avancer, le contrôle de mouvement guide le mouvement dans une piste d'accélérateur glissante spécifiée sur le Speeder virtuel, et l'utilisateur voit ses propres mains d'avatar actionner les moteurs. Les moteurs se mettent en position, le son augmente, ils ressentent des vibrations au démarrage, et la scène autour d'eux commence à bouger. Ils tournent en utilisant la direction différentielle - poussant un accélérateur plus que l'autre, comme sur un tracteur - tout en s'inclinant dans le virage avec leurs jambes, qui perçoivent un "Speeder" flottant et réactif en dessous d'eux, ressemblant à la dynamique de mouvement IRL d'un jetski. Pour l'utilisateur, l'effet net est une expérience entièrement naturelle dans un environnement surréaliste.

Le Speeder n'est qu'un exemple d'une gamme presque infinie de simulation, de loisirs et d'opportunités de formation. Ce qui prend forme à partir d'ici est entièrement guidé par le design de jeu sur le logiciel Unity activé par robot. Des sports, interactions, loisirs et activités entièrement nouveaux - tout droit sorti de l'imagination - peuvent désormais devenir une expérience réelle.

Propulsé par Unity : Le cœur de l'interaction immersive

Sous les capteurs, moteurs et VR se trouve le cœur Unity. Il concatène toutes les données entrantes, les mélange avec l'expérience de jeu et pilote les contrôleurs de moteur. Unity intègre ces ingrédients, avec une couche de C++ si nécessaire, et inclut :

- Collecte des données des capteurs entrants

- Intégration entre les données des capteurs et les contrôleurs de mouvement

- Le package Unity Physics pour améliorer le réalisme haptique

- Interface utilisateur, permettant une interaction graphique simple

- Un contenu vaste et de haute qualité provenant du Unity Asset Store

- Audio spatial pour améliorer le sens de la profondeur et de l'immersion

- Sortie VR, permettant la plateforme agnostique de casque de MEK

- Universal Render Pipeline pour un rendu de haute qualité et un photoréalisme, améliorant le sens du réalisme

- Fonctionnalité multijoueur pour l'entraînement, la compétition ou l'interaction sociale.

- Intégration d'avatar à la première personne

La physique intégrée permet un contrôle précis de tous les mouvements, convainquant le cerveau que l'entité virtuelle a une masse et une inertie, ainsi que de la résistance, du vent, de la flottabilité ou tout autre effet nécessaire pour concrétiser l'expérience. Le style de rendu peut être réaliste pour répondre aux besoins de formation et de simulation, ou stylisé comme Manga, aquarelle, bloc de bois, film noir, ou tout autre style qui contribue à un sentiment d'évasion. Et le vaste Unity Asset Store offre des matériaux, effets, environnements et audio de qualité sans limites pour rendre la création de nouveau contenu rapide et richement imaginative. C'est vital pour MEK, car un flux constant de nouveaux mondes stimule les engagements de retour.

Déverrouiller de nouvelles possibilités dans divers secteurs

Fitness & Entraînement

Ethereal permet d'améliorer les expériences traditionnelles, y compris les jeux typiquement sédentaires. En appliquant un contrôle de mouvement bidirectionnel, vous pouvez devenir Tom Cruise grimpant le Burj Khalifa, battre des ailes mécaniques pour faire voler votre ornithoptère steampunk au-dessus de la Grande Muraille de Chine, ou naviguer un vaisseau de guerre lors de la bataille de Trafalgar. Vous pouvez même revêtir un avatar de robot de 300 pieds du Pacific Rim et boxer votre colocataire de l'université à l'autre bout du monde, écrasant Tokyo sous vos pieds.

L'effet net est un engagement véritablement captivant, simultanément plus convaincant qu'un jeu vidéo, plus immersif que la VR seule, et plus invitant qu'une salle de sport. Et avec la résistance augmentée, ces mouvements deviennent un véritable exercice - développés couchés et tirages, écartés, squats, curls, ou presque tout ce que l'on pourrait trouver dans une salle de sport bien équipée. Au lieu de vous plonger dans l'ennui, cela amplifie votre sentiment d'évasion et d'aventure, mélangeant fitness et jeux, basé entièrement sur le choix de l'utilisateur pour les paramètres de résistance haptique. Ajoutez de la physicalité au jeu, et l'eSport devient soudainement un sport, une récréation et un fitness, avec des résultats dans la vie réelle.

Puisque les armatures couvrent la plage de mouvement humain, presque toute activité physique peut être recréée et transformée en expériences de jeu - ou vice versa - adaptées à des démographies spécifiques. La cinématique inverse de Unity détermine les proportions de l'utilisateur et auto-échelle la scène ou les actifs, garantissant que tout mouvement est biomécaniquement optimal et ajusté à l'âge de l'utilisateur. Ajoutez un contrôle complet sur les paramètres de retour de force, et les interactions haptiques subtiles deviennent un art, contribuant à la magie de l'expérience globale. Ce coup de poing de robot géant commence par un enroulement résistant, suivi de la force corporelle complète nécessaire pour porter le coup de poing supérieur. Vous ressentez le frisson de l'impact, voyez l'armure de l'adversaire éclater en étincelles et en fumée, et entendez la cacophonie alors que votre adversaire vole en arrière. Tous les indices haptiques dérivent finalement du code visuel, cinématique, auditif et physique de Unity, résultant en une expérience richement immersive.

Thérapie Physique

La fonctionnalité multijoueur de Unity transforme la plateforme en une solution complète de sport, de fitness et d'entraînement, permettant aux groupes de rivaliser ou de collaborer indépendamment de leur emplacement physique. Cela se traduit par des sports d'équipe avec une condition physique authentique et un entraînement où tout le corps participe à l'activité. Les eSports immersifs deviennent une expérience sociale, physiquement exigeante et impliquant tout le corps. Les universités peuvent participer à des compétitions internationales et intramurales, indépendamment de leur équipement, de leur emplacement, de la météo, de leur budget de voyage et du temps disponible. Avec MEK et Unity, un appel de rattrapage avec maman peut se transformer en une heure de paddle dans les canaux de Venise.

Avec MEK et Unity, la thérapie physique (PT) se transforme de la monotonie à l'agrément, augmentant la conformité tout en optimisant les résultats. Ici, les modèles cinématiques inverses de Unity - combinés à la numérisation à bord pilotée par LiDAR - permettent un suivi des mouvements de près, comme si un thérapeute physique vigilant était présent. Les chemins de mouvement virtuels sont définis par des vecteurs spécifiques, adaptés aux proportions du patient, et conçus avec la résistance exacte pour des résultats optimisés. Une couche de ludification aborde le défaut le plus courant de la PT : le manque de conformité dû à sa monotonie inhérente. Soudain, ramer sur un tapis magique avec des amis le long de l'ancien Nil devient le meilleur moyen de corriger votre conflit d'épaule.

Tout cela est alimenté par le mariage de Unity et de la robotique à travers les bras contrôlés par logiciel des plateformes et le mouvement bidirectionnel.

Entraînement spatial et simulation

Dans l'espace, où l'échec n'est notoirement pas une option, une simulation précise est vitale pour le succès de la mission. Actuellement, Ethereal génère des environnements qui ciblent le marché de l'entraînement spatial et de la simulation, qui présente son propre ensemble de défis nuancés impossibles à reproduire sur Terre.

Spécifiquement, en utilisant le package Physics Engine de Unity, MEK génère des mouvements complexes et des interactions dans un cadre virtuel photoréaliste, résultant en un environnement d'entraînement hautement précis à tous les niveaux. Le rendu stéréoscopique de haute qualité de Unity simule l'éblouissement intense et les ombres profondes dans l'espace, tout en recréant les dynamiques orbitales exactes de la Terre, de la Lune, du Soleil et des étoiles, voyageant à grande vitesse, semblant entourer le stagiaire. L'environnement résultant familiarise le stagiaire astronaute avec l'expérience visuelle de l'espace avant de s'envoler, minimisant ainsi la charge cognitive globale in situ.

Physiquement, l'Unity mélange le mouvement d'un stagiaire astronaute avec la résistance inhérente d'une combinaison spatiale, et avec la masse-sans-gravité qu'il rencontrera en déplaçant des objets lourds dans l'environnement réel de zéro gravité. Le même code de contrôle de mouvement permet également à l'astronaute de se déplacer sans poids à l'extérieur de la station spatiale, main par main, en équilibrant soigneusement l'inertie excentrique résultant de l'astronaute et de la combinaison spatiale de 250 lb en mouvement.

La physique intégrée d'Unity permet une simulation précise du mouvement des astronautes, de la rotation et des collisions entre plusieurs corps en zéro G. L'implémentation simple et performante d'Unity de la physique des corps rigides et des colliders, et même des tenseurs d'inertie, permet fondamentalement de modéliser le mouvement EVA. Les tenseurs d'inertie permettent spécifiquement à MEK de simuler la différence de rotation entre la rotation axiale et sagittale dans l'espace. Et à un niveau plus nuancé, MEK utilise une assignation manuelle du centre de masse pour simuler la masse excentrique du système de support de vie lourd à l'arrière d'une combinaison spatiale. Spécifiquement, le code de MEK utilise l'‘ajouter une force à la position’ pour éviter de calculer le couple résultant, simplifiant ainsi le code de mouvement.

Une telle fidélité dans la formation immersive conduit à une familiarité et une mémoire musculaire considérablement améliorées autour des dynamiques de mouvement complexes à rencontrer dans l'espace, bien avant de quitter la Terre.

Le futur de la technologie immersive

MEK vise à élargir la dimension physique et la profondeur de l'illusion sensorielle initiée par les casques VR d'aujourd'hui. Propulsé par les technologies intégrées d'Unity, MEK fusionne une large gamme de données - IA, contrôle de mouvement, fusion de capteurs, jeux - en expériences uniques et profondément immersives allant de la forme physique à l'engagement social, en passant par des formations complexes. Au cœur de MEK, Unity génère l'expérience en harmonisant les entrées et sorties sensorielles, résultant en la magie d'une immersion profonde et d'une véritable évasion vers un autre monde.