Le contexte est essentiel : Cartographie de données inter-domaines pour la réalité augmentée

L'IA a le vent en poupe, mais la voie reste encore à tracer quant à la manière dont elle peut être exploitée pour des expériences immersives. L'IA n'est pas la solution à tous les problèmes, mais elle constitue le chaînon manquant nécessaire à la création d'expériences augmentées de nouvelle génération.

Compte tenu de l'essor de l'IA, j'aimerais aborder le concept de "contexte" dans le cadre de la création d'expériences de réalité augmentée (RA). Un contexte est un ensemble de paramètres décrivant un domaine qui peut être encodé en données traitables par une machine. Un domaine peut être littéralement n'importe quoi, mais dans l'espace de la RA, il existe trois domaines critiques : physique, virtuel et humain.

Le domaine physique est le monde dans lequel nous vivons. Le contexte d'un lieu spécifique peut inclure des coordonnées mondiales (c'est-à-dire une position géographique), des données de balayage de l'environnement, des positions d'objets, des conditions météorologiques ou des images de l'environnement - tous les paramètres du monde réel qui sont pertinents pour soutenir la génération d'une solution à un besoin spécifique.

Le domaine virtuel contient toutes les données qui ont une corrélation utile avec un emplacement dans le monde réel. Il s'agit d'une définition large, mais c'est l'idée : Les expériences de RA n'ont pas besoin d'actifs ou de modèles 3D complexes pour apporter de la valeur. N'importe quel type de métadonnées de localisation peut servir de base à une expérience, par exemple les données pluviométriques ou l'emplacement des stocks dans un magasin.

Enfin, le domaine humain est l'ensemble des besoins humains, exprimés en termes compréhensibles par une machine. C'est le point de départ de l'IA, où le traitement du langage naturel (NLP) et les modèles de transformateurs génératifs pré-entraînés (GPT) jouent un rôle clé dans la conversion du contexte humain en langage machine. Le domaine humain englobe également la manière dont les données générées par les machines sont communiquées.

La création d'un contexte de domaine est une tâche relativement simple. Là où cela devient délicat, c'est de s'assurer que les relations entre les composants sont utilisables : les systèmes de coordonnées physiques et virtuelles doivent s'aligner, les jumeaux numériques doivent être à jour par rapport au monde physique, les descriptions humaines doivent pouvoir être mises en correspondance avec des comportements susceptibles d'être formés, etc.

Les logiciels et le matériel liés aux technologies émergentes, notamment l'IA, la robotique et l'internet des objets, évoluent rapidement. Tant que des normes (pour l'interopérabilité, par exemple) et des bonnes pratiques régissant leur mise en œuvre ne sont pas en place, l'efficacité de l'utilisation et de la compatibilité repose sur une conception habile des composants en réseau. Mais une fois ce système conçu, vous disposez d'une base généralisée pour créer des expériences de réalité augmentée pour n'importe quelle application, qu'il s'agisse de l'industrie, de la vente au détail ou de l'amélioration générale de la productivité.

Un exemple de la manière dont l'IA permet la cartographie inter-domaines serait celui d'une personne pointant un objet au loin. Il s'agit d'un contexte physique que de nombreuses technologies peuvent fournir, mais le geste en lui-même n'a pas de signification intrinsèque et n'est pas suffisant pour définir le problème à résoudre. Il peut s'agir d'une référence à une direction de voyage ou d'une interrogation sur un objet. Le contexte, lorsqu'il est mis en corrélation avec des termes tels que "Comment y arriver ?", constitue désormais une requête complète. Ainsi, l'IA peut traiter les données physiques guidées par les données contextuelles humaines pour "comprendre" les interactions naturelles que nous effectuons tous quotidiennement sans y penser et générer une réponse appropriée. Cette transparence de la demande/réponse élève toutes les formes d'expérience de la RA, dans le but ultime de nous faciliter la vie.

Voyons quelques exemples de la manière dont le contexte peut être défini pour différentes applications. Le rôle principal de l'IA se situe dans le domaine humain, en traitant les demandes des utilisateurs, en anticipant leurs besoins, en exploitant les données pertinentes et en facilitant la communication entre les personnes et les appareils.

Peinture de chambre : Un utilisateur souhaite peindre un espace et aimerait connaître la quantité de matériaux nécessaires. Spécificités : Ils disposent d'un appareil capable de mesurer l'espace et d'émettre une commande vocale demandant la quantité de peinture nécessaire.

• Physique : Scanner Lidar de l'espace physique
• Virtuel : Digital Twins de l'espace créé à la volée sur la base d'un scan physique qui inclut les fenêtres, les portes et les murs afin de déterminer avec précision la surface des murs.
• L'homme : La corrélation entre la superficie et la surface qu'un pot de peinture peut couvrir

Routage de la forme : Un utilisateur demande une variation de parcours par rapport à l'itinéraire habituellement emprunté. Spécificités : L'utilisateur dispose d'un casque capable de déterminer sa position, d'enregistrer ses itinéraires précédents et de projeter des informations visuelles.

• Physique : Localisation de l'utilisateur et enregistrements des courses précédentes
• Virtuel : Cartes de la région fournissant des informations sur les sentiers et les trottoirs
• L'homme : Compréhension de ce qui constitue un itinéraire pour permettre le calcul d'un nouvel itinéraire

Optimisation de l'aéroport : Connaissance de la situation et automatisation pour améliorer la gestion des opérations. L'utilisateur a besoin d'être guidé juste à temps pour mener à bien ses activités sur le terrain d'aviation en toute sécurité. Spécificités : L'utilisateur dispose d'un wearable au poignet qui peut déterminer l'emplacement de l'utilisateur, et dispose d'une connexion de données à un jumeau numérique opérationnel central.

• Physique : Localisation des utilisateurs, des aéronefs, des biens et des objets du monde physique
• Virtuel : Digital Twins de l'aéroport permettant la prédiction de simulations, la navigation, la localisation de points d'intérêt et le traitement géospatial
• L'homme : Compréhension de la mission, des défis et des principaux objectifs de sécurité

Comme le montrent ces exemples, la valeur de la 3D en temps réel va bien au-delà de la production de visuels impressionnants. Il s'agit du moteur principal de traitement des contextes inter-domaines pour générer des solutions spatiales aux problèmes. Étant donné que nous vivons dans un monde en 3D, il n'est pas surprenant que la 3D en temps réel joue un rôle central.

Unity, en tant que moteur de données de base, jouit d'une grande popularité sur le marché des jeux, si bien que son applicabilité à des cas d'utilisation autres que les jeux est souvent négligée. À mesure que les wearables, les appareils et les modèles d'IA progressent sur le plan technologique, capturant des données plus nombreuses et de meilleure qualité, des contextes toujours plus riches seront définis, générant des solutions plus précises. Unity sera le principal outil de collecte de ces données pour créer les expériences qui améliorent notre vie au travail et dans les loisirs.

Nous sommes impatients de voir ce que nos développeurs vont créer, et nous espérons que cet article de blog a fourni quelques idées sur la façon de structurer vos expériences de nouvelle génération.

Pour plus d'inspiration sur la façon dont l'IA peut favoriser les expériences immersives, consultez le potentiel des jumeaux numériques. Et n'oubliez pas de vous inscrire au programme bêta d'Unity AI.