Der Kontext ist alles: Bereichsübergreifende Datenzuordnung für Augmented Reality

Künstliche Intelligenz erlebt eine Blütezeit, auch wenn der Weg, wie sie für immersive Erlebnisse genutzt werden kann, noch nicht geebnet ist. KI ist nicht die Lösung für jedes Problem, aber sie ist das fehlende Bindeglied, um die nächste Generation von Augmented Experiences zu schaffen.

In Anbetracht dieses KI-Booms möchte ich über das Konzept des "Kontexts" im Zusammenhang mit der Erstellung von Augmented Reality (AR)-Erlebnissen sprechen. Ein Kontext ist eine Sammlung von Parametern, die einen Bereich beschreiben, der in maschinenverarbeitbare Daten kodiert werden kann. Eine Domäne kann buchstäblich alles sein, aber im AR-Bereich gibt es drei entscheidende Domänen: physisch, virtuell und menschlich.

Der physische Bereich ist die Welt, in der wir leben. Der Kontext für einen bestimmten Ort kann Weltkoordinaten (d. h. eine geografische Position), Umgebungsscandaten, Objektpositionen, Wetter oder Bilder der Umgebung umfassen - was auch immer an Parametern aus der realen Welt relevant ist, um die Erstellung einer Lösung für einen bestimmten Bedarf zu unterstützen.

Der virtuelle Bereich enthält alle Daten, die eine nützliche Korrelation mit einem Ort in der realen Welt aufweisen. Das ist eine weit gefasste Definition, aber das ist die Idee: AR-Erlebnisse brauchen keine komplexen 3D-Assets oder Modelle, um einen Mehrwert zu bieten. Jede Art von Standort-Metadaten kann die Grundlage für ein Erlebnis sein, z. B. Niederschlagsdaten oder der Standort des Warenbestands in einem Geschäft.

Der menschliche Bereich schließlich ist die Gesamtheit der menschlichen Anforderungen, ausgedrückt in Begriffen, die eine Maschine verstehen kann. Dies ist der Ausgangspunkt für die künstliche Intelligenz, bei der die Verarbeitung natürlicher Sprache (NLP) und generative, vortrainierte Transformationsmodelle (GPT) eine Schlüsselrolle bei der Umwandlung des menschlichen Kontexts in Maschinensprache spielen. Der menschliche Bereich umfasst auch die Art und Weise, wie maschinell erzeugte Daten übermittelt werden.

Die Generierung eines Domänenkontextes ist eine relativ einfache Aufgabe. Die Schwierigkeit besteht darin, die Beziehungen zwischen den Komponenten nutzbar zu machen: physische und virtuelle Koordinatensysteme müssen übereinstimmen, digitale Zwillinge müssen mit der physischen Welt auf dem neuesten Stand sein, menschliche Beschreibungen müssen auf trainierbare Verhaltensweisen abgebildet werden können, usw.

Sowohl Software als auch Hardware im Zusammenhang mit neuen Technologien wie KI, Robotik und dem Internet der Dinge entwickeln sich rasch weiter. Solange es keine Normen (z. B. für die Interoperabilität) und bewährte Verfahren für ihre Umsetzung gibt, hängt die effektive Nutzung und Kompatibilität von der geschickten Gestaltung der vernetzten Komponenten ab. Ist dieses System jedoch erst einmal entworfen, haben Sie die allgemeine Grundlage für die Erstellung von Augmented-Reality-Erlebnissen für jede Anwendung, sei es in der Industrie, im Einzelhandel oder zur allgemeinen Produktivitätssteigerung.

Ein Beispiel dafür, wie KI ein bereichsübergreifendes Mapping ermöglicht, wäre eine Person, die auf ein Objekt in der Ferne zeigt. Dies ist ein physischer Kontext, den viele Technologien bieten können, aber die Geste an sich hat keine eigentliche Bedeutung und reicht nicht aus, um das zu lösende Problem zu definieren. Es könnte sich um eine Fahrtrichtung oder eine Anfrage zu einem Objekt handeln. Der Kontext in Verbindung mit Formulierungen wie "Wie komme ich dorthin?" bildet nun eine vollständige Anfrage. So kann die KI die physischen Daten unter Berücksichtigung des menschlichen Kontexts verarbeiten, um die natürlichen Interaktionen zu "verstehen", die wir alle täglich durchführen, ohne darüber nachzudenken, und eine angemessene Reaktion zu erzeugen. Diese Transparenz von Anfrage und Antwort verbessert alle Formen der AR-Erfahrung mit dem Ziel, unser Leben einfacher zu machen.

Lassen Sie uns einige Beispiele dafür untersuchen, wie der Kontext für verschiedene Anwendungen definiert werden kann. KI spielt vor allem im menschlichen Bereich eine Rolle, indem sie Benutzeranfragen bearbeitet, Benutzerbedürfnisse vorwegnimmt, auf relevante Daten zurückgreift und die Kommunikation zwischen Menschen und Geräten erleichtert.

Zimmer streichen: Ein Benutzer möchte einen Raum streichen und möchte die benötigte Materialmenge wissen. Besonderheiten: Sie haben ein Gerät, das den Raum ausmessen und per Sprachbefehl sagen kann, wie viel Farbe benötigt wird.

• Physisch: Lidar-Scan des physischen Raums
• Virtual: Digitaler Zwilling des Raums, der auf der Grundlage eines physischen Scans erstellt wird, der Fenster, Türen und Wände umfasst, um die Wandfläche genau zu bestimmen
• Human: Die Korrelation zwischen der Quadratmeterzahl und der Fläche, die eine Dose Farbe abdecken kann

Fitness-Routing: Ein Benutzer fordert einen Lauf an, der von der üblichen Route abweicht. Besonderheiten: Der Benutzer verfügt über ein Headset, das seinen Standort bestimmen kann, frühere Routen aufzeichnet und visuelle Informationen projizieren kann.

• Physisch: Benutzerstandort und Aufzeichnungen früherer Läufe
• Virtual: Karten des Gebiets mit Informationen über Wanderwege und Bürgersteige
• Human: Verständnis dafür, was eine Route ausmacht, um eine neue Route berechnen zu können

Optimierung des Flughafens: Situationsbewusstsein und Automatisierung zur Verbesserung des Betriebsmanagements. Ein Benutzer benötigt Just-in-Time-Anweisungen für die sichere Durchführung von Flugplatzaktivitäten. Besonderheiten: Der Nutzer trägt ein Armband, das seinen Standort bestimmen kann und eine Datenverbindung zu einem zentralen, operativen digitalen Zwilling hat.

• Physisch: Standorte von Benutzern, Flugzeugen, Anlagen und Objekten der physischen Welt
• Virtual: Digitaler Zwilling eines Flughafens, der Simulationsvorhersagen, Navigation, die Lokalisierung von Points of Interest und die Verarbeitung von Geodaten ermöglicht
• Human: Verständnis für den Auftrag, die Herausforderungen und die wichtigsten Sicherheitsziele

Wie man an diesen Beispielen sehen kann, geht der Wert von 3D in Echtzeit weit über die Erzeugung beeindruckender visueller Eindrücke hinaus. Sie ist das Herzstück für die Verarbeitung bereichsübergreifender Zusammenhänge, um räumliche Lösungen für Probleme zu generieren. Da wir in einer 3D-Welt leben, ist es nicht überraschend, dass 3D in Echtzeit eine zentrale Rolle spielt.

Unity als zentrale Daten-Engine hat eine enorme Anziehungskraft auf den Spielemarkt, so dass seine Anwendbarkeit auf andere Anwendungsfälle als Spiele oft übersehen wird. Mit dem technologischen Fortschritt bei Wearables, Geräten und KI-Modellen, die immer mehr und bessere Daten erfassen, werden immer reichhaltigere Kontexte definiert, die präzisere Lösungen hervorbringen. Unity wird das primäre Werkzeug für die Erfassung dieser Daten sein, um die Erfahrungen zu schaffen, die unser Leben bei der Arbeit und beim Spielen besser machen.

Wir sind gespannt, was unsere Entwickler erschaffen werden, und hoffen, dass dieser Blogbeitrag einige Ideen für die Strukturierung Ihrer Erlebnisse der nächsten Generation liefert.

Weitere Inspirationen dazu, wie KI immersive Erlebnisse fördern kann, finden Sie unter dem Potenzial von Digital Twins. Und vergessen Sie nicht, sich für das Unity AI Beta-Programm anzumelden.