Ethereale Materie: Ganzkörperhaptik mit VR verbinden

Industriedesigner Scott Summit hat Produkte für Apple, Silicon Graphics und Nike entworfen, hat Design in Stanford, Singularity und Carnegie Mellon unterrichtet und hält 46 Patente in den Bereichen Design und Technologie. Er gründete Ethereal Matter, Inc., um Fitness- und Gesundheitschancen durch aufkommende VR- und Gaming-Trends zu berücksichtigen.

Das weltverändernde Potenzial für VR wurde gut demonstriert. Es transportiert uns aus der Haut in eine Realität unserer Wahl, wie es noch keine andere Technologie gezeigt hat. Allein diese Fähigkeit hat zu einer hohen Akzeptanz für militärische und medizinische Ausbildung geführt, insbesondere wenn sich effektive, alternative IRL-Simulationen als teuer oder unmöglich erweisen. Selbst auf Verbraucherebene konnte VR Herausforderungen wie Höhenangst und öffentliche Reden erfolgreich bewältigen.

Trotz der reichen technologischen Entwicklungen hinter VR in den letzten Jahren zeugt es für viele von unerledigten Aufgaben. Das Potenzial ist greifbar, aber die heutigen Angebote gelten oft als solider erster Schritt. Der Markt hat dies mit antiklimatischen Akzeptanzraten bestätigt. VR muss in unserem täglichen Leben noch eine flächendeckende Relevanz zeigen oder uns zeigen, wie das Leben ohne sie fehlen würde. Kurz gesagt, verspricht es vollständige Immersion mit realen Ergebnissen, liefert aber größtenteils eine Augen- und Ohren-Illusion dessen, was wir hofften, unsere Gesamtheit zu fesseln.

Die physische Welt ist bidirektional

Die Welt ist per Definition eine bidirektionale haptische Umgebung. Das ist das Beste daran. Sie interagieren, und es interagiert zurück. Wenn man in die Pedale tritt, bewegt es einen vorwärts. Sie lenken und lehnen, und es dreht sich unter Ihrem Kommando, während sich die Szenerie um Sie herum ändert. Auf dem Wasser findet man den „süßen Fleck“ im Segel, lehnt sich hinein und man surft.

In VR ist es einigen der spannenden, tiefhängenden Haptikanwendungen – stationäres Radfahren und Rudern – gelungen, den Mutigen zu zeigen, wie sich die Monotonie ihrer stationären Gegenstücke in magischen Eskapismus verwandeln und uns zu mehr Energie verleiten lässt. Ihr Erfolg liegt in der Fähigkeit, aus einer ansonsten betäubenden Aktivität eine medienreiche Erfahrung zu generieren. Das Potenzial ist solide aufgezeigt, wenn auch auf wenige Aktivitäten beschränkt.

Aktuelle haptische Lösungen: Der Hexapod-Ansatz

Meistens aber bleibt die Branche für Ganzkörper-haptische Immersion der „Hexapod“. In Verbindung mit einer visuellen oder immersiven Erfahrung synchronisiert dies mechanisch die Bewegung 6 Degree of Freedom (6DoF), die Ihrem Innenohr genau das bestätigt, was Ihre Augen und Ohren erwarten. Fügen Sie einen steuerbaren Ventilator hinzu, und die resultierenden Geräte reichen von vollständig immersiven Freizeitpark-Erfahrungen bis hin zu Panzer- und Hubschraubertrainern des Militärs.

Diese Harmonie zwischen unseren sensorischen Eingängen reduziert tatsächlich die „Sim-Krankheit“, die durch Dissonanz zwischen den Sinnen entsteht, einfach durch die Verbindung der sensorischen Punkte. Aber die Hexapod-Plattform wurde als universelles, vielseitiges Bewegungssteuerungsgerät konzipiert und erst kürzlich für VR in Betrieb genommen, um unser Innenohr zu täuschen. Es lässt den Rest unserer Körperlichkeit größtenteils außer Eingriff.

Interaktive Ganzkörperplattformen betreten

Die MEK von Ethereal Matter ist eine interaktive Motion-Control-Plattform, die Arme, Beine und Balance in interaktive virtuelle Erfahrungen einbindet, wie man es in der realen Welt tun würde. Wie der Hexapod-Ansatz verbindet MEK das, was Sie erwarten, mit dem Gefühl, das Sie physisch erleben. MEK wurde im Wesentlichen so konzipiert, dass es die Möglichkeiten der VR nutzt und den Benutzer in eine reiche, fantasievolle Welt einführt, indem es eine Ganzkörperinteraktion mit den Objekten darin erzeugt.

Dazu umfasst sie:

- Zwei Roboterarmaturen, die den menschlichen Bewegungsbereich aktiv abdecken.

- Aktive Fußplattformen, die haptische Bedingungen für die Beine erzeugen.

- Kardangriffe an den motorisierten Ankern ermöglichen eine freie und sichere Bewegung der Handgelenke, während Sensoren die geringste Eingabe des Benutzers erkennen

- LiDAR Motion Capture-Scans des Benutzers ermöglichen eine umfassendere Teleportation in die VR Szene als Avatar der ersten Person, um die tiefe Immersion zu verbessern.

Wie MEK bidirektionale Haptik erreicht

Die bidirektionale Haptik resultiert aus einer Kombination von Sensoren in den Endeffektoren (Gimbal Grip Assembly) und Code, der mit Unity übereinstimmt, was eine Synergie zwischen visueller und physischer Erfahrung ermöglicht.

Beispielsweise kann ein Benutzer bei einem Pod Racer im Star Wars-Stil eine praktisch als Gashebel wirkende Steuerung ergreifen und nach vorne schieben, um zu beschleunigen. Die Sensoren erkennen die Vorwärtsabsicht, die Bewegungssteuerung leitet die Bewegung in eine vorgegebene Schub-Gasspur des virtuellen Speeders und der Benutzer sieht, wie seine eigenen Avatarhände die Motoren befeuern. Die Motoren drehen sich in Position, der Ton steigt, sie spüren Vibrationen vom Start und die Szene um sie herum setzt sich in Bewegung. Sie drehen mit Differentiallenkung – drücken wie bei einem Traktor das eine Gas mehr als das andere – während sie mit ihren Beinen in die Kurve einfahren, die einen auftriebsstarken und reaktiven „Speeder“ unter sich wahrnehmen, der der IRL-Bewegungsdynamik eines Jetskis ähnelt. Für den Benutzer ist der Nettoeffekt eine völlig natürliche Erfahrung in einer surrealen Umgebung.

Der Speeder ist nur ein Beispiel aus einer nahezu unendlichen Palette von Simulations-, Erholungs- und Trainingsmöglichkeiten. Was von hier an Gestalt annimmt, wird ausschließlich durch das Spieledesign der roboterfähigen Software Unity bestimmt. Ganz neue Sportarten, Interaktionen, Erholung und Aktivität – alles direkt aus der Vorstellungskraft heraus – können jetzt zu einem echten Erlebnis werden.

Angetrieben von Unity: Kern immersiver Interaktion

Unter den Sensoren, Motoren und VR befindet sich der Unity Core. Es verkettet alle eingehenden Daten, fügt sie dem Spielerlebnis hinzu und steuert die Motorsteuerungen. Unity integriert diese Zutaten je nach Bedarf mit einer C++-Schicht und umfasst:

- Erfassung eingehender Sensordaten

- Integration zwischen Sensordaten und Motion Controllern

- Das Paket Unity Physics zur Verbesserung des haptischen Realismus

- Benutzeroberfläche, die eine einfache, grafische Benutzerinteraktion ermöglicht

- Umfangreiche, hochwertige Inhalte aus dem Unity Asset Store

- Räumliches Audio, um das Gefühl der Tiefe und Immersion zu verbessern

- VR-Ausgabe für die Headset-unabhängige Plattform von MEK

- Universal Render Pipeline für hochwertiges Rendering und Fotorealismus

- Multiplayer für Training, Wettbewerb oder soziale Interaktion.

- Ego-Avatar-Integration

Die integrierte Physik ermöglicht eine präzise Kontrolle über alle Bewegungen und überzeugt das Gehirn, dass die virtuelle Entität Masse und Trägheit sowie Widerstand, Wind, Auftrieb oder einen anderen Effekt hat, der erforderlich ist, um die Erfahrung wiederherzustellen. Der Rendering-Stil kann realistisch sein, um Trainings- und Simulationsanforderungen zu erfüllen, oder wie Manga, Aquarell, Holzblock, Film noir oder eine andere Geschmacksrichtung stilisiert sein, die zu einem Gefühl von Eskapismus beiträgt. Und der riesige Unity Asset Store bietet grenzenlose, hochwertige Materialien, Effekte, Umgebungen und Audio, um die Erstellung neuer Inhalte schnell und fantasiereich zu gestalten. Dies ist für MEK von entscheidender Bedeutung, da ein ständiger Fluss neuer Welten die Wiedereinbindung fördert.

Branchenübergreifend neue Möglichkeiten erschließen

Fitness und Training

Ethereal ermöglicht die Verbesserung traditioneller Erfahrungen, einschließlich normalerweise sitzender Spiele. Durch den Einsatz von bidirektionaler Bewegungssteuerung können Sie Tom Cruise werden, der den Burj Khalifa besteigt, mechanische Flügel schlagen, um Ihren Steam-Punk-Ornithopter über die Chinesische Mauer zu fliegen, oder durch einen Man-of-War in der Schlacht von Trafalgar navigieren. Sie können sogar einen 300 Meter langen Pacific Rim-Roboter-Avatar anziehen und Ihren College-Mitbewohner aus der ganzen Welt boxen und Tokio unter Ihren Füßen zerquetschen.

Der Nettoeffekt ist ein wirklich fesselnder Einsatz, der gleichzeitig fesselnder ist als ein Videospiel, immersiver als VR allein und einladender als das Fitnessstudio. Und mit dem Widerstand werden diese Bewegungen zu legitimer Fitness – Bankdrücken und -reihen, Fliegen, Kniebeugen, Locken oder fast alles, was man in einem gut ausgestatteten Fitnessstudio finden kann. Nur statt Sie in Langeweile zu versetzen, verstärkt dies Ihr Gefühl von Eskapismus und Abenteuer und verbindet Fitness mit Gaming, das ganz auf der Wahl des Benutzers für haptische Widerstandseinstellungen basiert. Fügen Sie dem Gaming Körperlichkeit hinzu, und eSport wird plötzlich zu Sport, Erholung und Fitness, mit IRL-Ergebnissen.

Da die Armaturen den menschlichen Bewegungsumfang abdecken, kann nahezu jede Fitnessaktivität nachgebaut und in ein Spielerlebnis umgewandelt werden – oder umgekehrt – das auf spezifische demografische Gegebenheiten zugeschnitten ist. Die inverse Kinematik von Unity bestimmt die Proportionen des Benutzers und skaliert die Szene oder Assets selbst, um sicherzustellen, dass alle Bewegungen biomechanisch optimal und an das Alter des Benutzers angepasst sind. Fügen Sie die vollständige Kontrolle über Force-Feedback-Parameter hinzu, und subtile haptische Interaktionen werden zur Kunst und tragen zur Magie des Gesamterlebnisses bei. Dieser riesige Roboterschlag beginnt mit einem widerstandsfähigen Aufziehen, gefolgt von der vollen Körperkraft, die benötigt wird, um den oberen Cut nach Hause zu treiben. Sie spüren den Schauder des Aufpralls, sehen die Rüstung des Gegners in Funken und Rauch ausbrechen und hören die Kakophonie, wenn Ihr Gegner rückwärts fliegt. Alle haptischen Hinweise basieren letztendlich auf dem visuellen, kinematischen, auditiven und Physics-fähigen Code von Unity, was zu einem ansprechenden Erlebnis führt.

Physiotherapie

Die Multiplayer-Funktionen von Unity verwandeln die Plattform in eine umfassende Sport-, Fitness- und Trainingslösung, die es Kohorten ermöglicht, unabhängig von ihrem physischen Standort am Wettbewerb teilzunehmen oder zusammenzuarbeiten. Das Ergebnis sind Teamsportarten mit authentischer Fitness und Training, bei denen der gesamte Körper an der Aktivität teilnimmt. Immersiver eSports wird zu einer sozialen, körperlich anspruchsvollen Ganzkörpererfahrung. Hochschulen können unabhängig von ihrer Ausrüstung, ihrem Standort, ihrem Wetter, ihrem Reisebudget und ihrer verfügbaren Zeit an internationalen, intramuralen Wettbewerben teilnehmen. Mit MEK und Unity kann ein Gespräch mit Mama zu einer Stunde Paddleboarding in den Kanälen von Venedig werden.

Mit MEK und Unity verwandelt sich die Physiotherapie (PT) von Tedium in Genuss, erhöht die Compliance und optimiert gleichzeitig die Ergebnisse. Hier ermöglichen die inversiven kinematischen Modelle von Unity – kombiniert mit dem LiDAR-gestützten Onboard-Scan – ein Close Motion Monitoring, als wäre ein wachsamer Physiotherapeut anwesend. Die virtuellen Bewegungsbahnen werden durch spezifische Vektoren definiert, an die Proportionen des Patienten angepasst und für optimierte Ergebnisse mit dem exakten Widerstand ausgelegt. Eine Ebene der Gamification behebt den häufigsten Mangel von PT: mangelnde Compliance aufgrund seiner inhärenten Monotonie. Plötzlich wird das Rudern mit Freunden auf einem magischen Teppich den alten Nil hinunter zur besten Möglichkeit, Ihren Schulteraufprall zu beheben.

All das wird durch die Verbindung von Unity und Robotik über die Plattformen softwaregesteuerte Anker und bidirektionale Bewegungen unterstützt.

Weltraumtraining und Simulation

Im Weltraum, wo Misserfolg notorisch keine Option ist, ist genaue Simulation für den Erfolg der Mission unerlässlich. Derzeit generiert Ethereal Umgebungen, die auf den Weltraumtrainings- und Simulationsmarkt abzielen, was seine eigenen, nuancierten Herausforderungen mit sich bringt, die auf der Erde unmöglich zu replizieren sind.

Insbesondere durch den Einsatz des Physics Engine-Pakets von Unity generiert MEK komplexe Bewegungen und Interaktionen in einer fotorealistisch virtuellen Umgebung, was zu einer hochpräzisen Trainingsumgebung auf allen Ebenen führt. Das hochwertige, stereoskopische Rendering von Unity simuliert intensive Blendung und tiefe Schatten im Weltraum und stellt gleichzeitig die exakte Bahndynamik von Erde, Mond, Sonne und Sternen nach, die mit hoher Geschwindigkeit um den Auszubildenden herum reisen. Die sich daraus ergebende Umgebung macht den Auszubildenden mit der visuellen Erfahrung des Weltalls vertraut, bevor er nach oben geht, und minimiert so die kognitive Belastung.

Physisch verbindet Unity die Bewegung eines Astronauten-Auszubildenden mit dem inhärenten Widerstand eines Raumanzugs und mit der Masse ohne Schwerkraft, auf die er trifft, wenn er schwere Objekte in der tatsächlichen Umgebung der Schwerelosigkeit bewegt. Derselbe Bewegungskontrollcode ermöglicht es dem Astronauten, sich Hand in Hand schwerelos außerhalb der Raumstation zu bewegen und dabei die exzentrische Trägheit, die sich aus der Bewegung des Astronauten und des 250 kg schweren Raumanzugs ergibt, sorgfältig auszubalancieren.

Die integrierte Physik von Unity ermöglicht eine genaue Simulation von Bewegungen, Rotationen und Mehrkörperkollisionen in Null-G. Die einfache und leistungsstarke Implementierung von Starrkörperphysik und Collidern in Unity und sogar von Trägheitstensoren ermöglicht grundsätzlich die Modellierung von EVA-Bewegungen. Die Trägheitstensoren ermöglichen es MEK speziell, den Spinunterschied zwischen axialem und sagittalem Spin im Raum zu simulieren. Auf einer differenzierteren Ebene nutzt MEK einen manuellen Massenschwerpunkt, um die exzentrische Masse des rückenschweren Lebenserhaltungssystems eines Raumanzugs zu simulieren. Insbesondere verwendet MEK den Code „Add Force at Position“, um die Berechnung des resultierenden Drehmoments zu vermeiden und so den Bewegungscode zu vereinfachen.

Eine solche Wiedergabetreue im immersiven Training führt zu einer erheblich verbesserten Vertrautheit und einem verbesserten Muskelgedächtnis rund um die komplexe Bewegungsdynamik, der man im Weltraum begegnen kann, lange bevor man die Erde verlässt.

Die Zukunft der immersiven Technologie

MEK steht dafür, die physische Dimension und Tiefe auf die sensorische Illusion auszudehnen, die durch die heutigen VR Headsets ausgelöst wird. MEK basiert auf den integrierten Technologien von Unity und vereint eine breite Palette von Daten – KI, Bewegungssteuerung, Sensorfusion, Gaming – in einzigartigen und tief immersiven Erfahrungen, die von Fitness über soziales Engagement bis hin zu komplexen Trainings reichen. Im Kern von MEK generiert Unity das Erlebnis durch die Harmonisierung der sensorischen Ein- und Ausgänge, was die Magie tiefer Immersion und eine wahre Flucht in eine andere Welt erzeugt.