Meilleures pratiques pour développer XR pour les applications industrielles

Résumé exécutif

Au cours des dernières décennies, les développeurs ont amené l'industrie dans le domaine numérique. Ils ont codé des plateformes en ligne où les gens peuvent acheter ou vendre n'importe quoi. Ils ont créé des bibliothèques ouvertes enseignant tout, de la CAO 3D à la fusion de minerai brut. Ils ont produit des outils de mise en réseau pour collaborer sur les optimisations de conception et la géométrie 3D, et bien plus encore. En conséquence, les experts de l'industrie peuvent partager et apprendre n'importe quoi en quelques clics. Mais pour ce faire, ils doivent encore se connecter à ce domaine numérique.

Cela a conduit à la prochaine étape de la transformation numérique de l'industrie. Au lieu de relier le domaine physique de l'industrie au numérique, les développeurs ont l'intention de les fusionner. Essentiellement, le domaine numérique arrive désormais directement sur le sol de production via la réalité virtuelle (VR), la réalité augmentée (AR) et la réalité mixte (MR) — collectivement appelées réalité étendue (XR). Les applications actuelles de ces technologies dans l'industrie comprennent :

• La formation en VR sur les lignes de production numériques pour réduire les risques pour les personnes, les produits et les biens.
• Maintenance assistée par AR, permettant aux personnes sur la ligne de voir comment les concepteurs envisagent de résoudre un problème.
• Les magasins activés par MR où les clients font une visite virtuelle ou essaient des produits avant de les acheter.
• Les applications industrielles des technologies XR en sont encore à leurs débuts. Ainsi, les développeurs de l'industrie peuvent se demander quelles applications sont disponibles.

Cependant, la récente intégration de XR dans l'industrie pousse les développeurs à se poser une autre question : Quelles sont les meilleures pratiques pour produire ces expériences ? Cela sera discuté ici.

Cet e-book a été commandé par engineering.com.

Qu'est-ce que XR, et comment cela va-t-il changer l'industrie ?

Bien que la plupart des développeurs sachent instinctivement faire la différence entre les technologies XR, il est préférable de les définir ici pour établir une base :

• La réalité virtuelle (VR) est une expérience entièrement numérique ; les seules connexions au monde réel sont les dispositifs d'entrée et d'affichage de l'utilisateur.
• La réalité augmentée (RA) est un mélange subtil entre le monde physique et le domaine virtuel ; les actifs numériques, les informations et les données sont superposés aux actifs du monde réel.
• La réalité mixte (RM) fusionne complètement le domaine numérique et le monde physique ; les actifs numériques interagissent avec les actifs du monde réel et vice versa.
• La réalité étendue (XR) englobe tout ce qui précède.

« Je définirais largement [XR] comme la création d'expériences immersives qui brouillent la ligne entre les réalités physiques et numériques », convient Seth Glaze, chef de produit technique senior de l'équipe industrie chez Unity. « Cela inclut spécifiquement la VR, ou réalité virtuelle, AR, réalité augmentée et ensuite la réalité mixte. »

Un exemple industriel de VR pourrait impliquer une réunion ou un atelier numérique. Ici, des employés du monde entier interagissent simultanément avec un paysage numérique et des Digital Twins d'actifs du monde réel. En réalité, chaque employé porte un casque VR et utilise un dispositif d'entrée pour interagir avec l'environnement virtuel et les Digital Twins. Mais dans le domaine numérique, les employés pouvaient ajuster les jumeaux à n'importe quelle taille (pour inspecter ou tester les moindres détails) ou simuler la performance d'un produit dans n'importe quel environnement.

Une autre bonne application de la VR est « la formation immersive [car elle] est souvent le seul moyen de former à grande échelle », déclare Jerome Maurey-Delaunay, architecte de solutions senior de l'équipe industrie chez Unity. « Vous ne pouvez pas emmener [stagiaires] dans une usine de fabrication n'importe comment. [VR] peut donner accès à [installation] à [ces] employés... en habituant les gens aux dangers [et aux meilleures pratiques]. »

L'exemple de maintenance susmentionné, cependant, est un bon descripteur de la RA. Imaginez qu'un ingénieur de maintenance porte un casque avec un accessoire de type Google Lens. L'affichage peut les avertir qu'une machine sur la ligne de production a besoin de maintenance, les diriger vers l'endroit où se trouve la machine, leur montrer la pièce de la machine qui est cassée, puis superposer une vidéo expliquant comment réparer cette pièce.

La réalité mixte pousse le concept de réalité augmentée (AR) un pas plus loin et, ce faisant, la combine souvent avec des éléments de VR. Imaginez l'exemple de maintenance en réalité augmentée ci-dessus. Seulement maintenant, l'ingénieur de maintenance travaille de chez lui avec des dispositifs d'entrée VR et un casque. Du point de vue de l'ingénieur, ils traversent un paysage numérique composé du jumeau numérique de la ligne de production. Pendant ce temps, sur la chaîne de production physique, un robot contrôlé par cet ingénieur répare physiquement une machine.

Défis de création d'expériences XR industrielles

Avec les termes XR entièrement définis et leur potentiel pour les applications industrielles clair, les développeurs commenceront naturellement à se demander quels défis ils devront relever lors de la création de ces expériences immersives. Jonathan de Belle, responsable du développement logiciel de l'équipe industrie chez Unity, explique que son équipe est souvent sollicitée pour aider les clients à adapter leurs données et leurs conceptions pour les applications XR. En conséquence, il connaît les défis courants de XR auxquels les développeurs sont confrontés.

Il explique que le premier défi est souvent que les modèles 3D du client sont trop grands pour être facilement intégrés dans une expérience numérique. De Belle dit que son équipe travaille souvent avec des « modèles très grands, très détaillés … Le nombre de pièces est énorme et chacune de ces pièces est très détaillée parce que [nous travaillons avec] des données de fabrication. Ce ne sont pas des données de jeu vidéo traditionnelles.

Un défi connexe mais différent provient du grand volume de métadonnées liées aux modèles 3D et autres actifs numériques. Des exemples de ces données non géométriques peuvent inclure les propriétés matérielles d'un actif. Dans une expérience XR, ces valeurs peuvent être extraites et ajoutées à l'affichage numérique. Bien que la résistance à la traction d'un actif ne soit pas une grande quantité de données, elle est probablement extraite des données de propriétés des matériaux qui couvrent l'ensemble de l'installation — ce qui peut représenter beaucoup de données.

« Vous avez également les données non visuelles », convient de Belle. Vous voulez que ces données soient accessibles dans l'application dans de nombreux cas. Et obtenir ces informations pertinentes est également un défi car il y en a beaucoup."

Ce volume de données apporte un autre défi : Compatibilité matérielle XR. Il est impossible de savoir quel appareil un utilisateur pourrait avoir lorsqu'il accède à une expérience XR dans la nature. Ainsi, cette vaste quantité de données doit être transférable et compatible avec de nombreux logiciels et appareils matériels, y compris les processeurs, les GPU et les casques anciens.

Par extension, cela signifie également que les développeurs sont confrontés au défi de pérenniser leurs applications XR. Étant donné que de nombreux appareils mobiles, comme les téléphones, ont tendance à avoir un renouvellement annuel entre les modèles, il est tout aussi important de s'assurer que l'expérience XR fonctionne sur les appareils futurs ainsi que sur les anciens.

Un autre défi auquel les concepteurs sont confrontés lorsqu'ils créent des modèles XR pour des applications industrielles est qu'ils ont généralement besoin d'accéder à des Digital Twins, des données propriétaires et des informations enfermées dans divers silos de données de l'entreprise. Ce problème est exacerbé lorsqu'on traite des données en temps réel. Puisqu'il est important que le domaine numérique reflète le domaine physique, le Version Control des actifs 3D et de diverses autres sources de données est essentiel.

Meilleures pratiques lors de la création d'expériences XR

Bien que les expériences XR soient différentes, Unity a montré que de nombreux défis auxquels les développeurs sont confrontés restent les mêmes. En conséquence, l'entreprise a développé des meilleures pratiques pour relever bon nombre de ces défis.

Demandez-vous : « Que résout cette expérience XR ? »

Glaze note que la première et souvent la plus importante des meilleures pratiques lors de la création d'applications XR est de comprendre et de définir le cas d'utilisation et les avantages dès le début du développement. Ajouter XR aux flux de travail industriels ne devrait pas être une question de suivre la dernière tendance technologique. Par exemple, il n'y a aucun avantage à amener chaque réunion dans un environnement XR lorsqu'un appel vidéo peut suffire. Il n'est pas nécessaire d'imposer des expériences immersives aux utilisateurs à moins que cela ne résolve un problème tangible.

En définissant d'abord le cas d'utilisation et les avantages d'une application XR, les développeurs peuvent utiliser ces informations pour maîtriser son périmètre, son budget et son temps de développement. Cela les aide également à limiter bon nombre des défis susmentionnés. Une fois cette expérience XR initiale terminée, les développeurs peuvent alors envisager d'élargir son champ d'application ou d'en créer une autre.

Les meilleures expériences XR sont adaptées au problème à résoudre

Une fois que les développeurs comprennent le problème que leur expérience XR résout, ils peuvent mieux l'adapter à ce besoin. Par exemple, si l'application est censée :

• Aidez les clients à essayer les produits, puis le meilleur showroom est le « jardin » des clients.
• Former les agents de maintenance des trains, puis la salle de formation ultime est votre propre équipement.
• Testez les conceptions de produits, puis le terrain d'essai ultime est l'environnement naturel de votre produit.

Par exemple, Glaze fait référence à un développeur australien qui se concentre sur des expériences de formation VR immersives pour des applications industrielles. L'une de ces expériences consistait à former des travailleurs à réparer des plateformes pétrolières offshore. L'équipement fonctionne 24h/24 et 7j/7 et coûte des millions de dollars à arrêter. Pendant ce temps, simuler des scénarios d'urgence sur ces actifs pourrait être dangereux. Par conséquent, il est difficile de former les travailleurs sur l'équipement dans le monde réel.

Pour résoudre ce problème, le développeur a créé des Digital Twins personnalisés d'équipements du monde réel et les a ajoutés dans des applications XR. Pendant la formation, les employés utilisent désormais cet outil pour s'entraîner à résoudre des problèmes potentiels qui peuvent survenir en réalité.

Le développeur a découvert qu'il ne suffit pas que ces simulations XR modélisent n'importe quelle plate-forme pétrolière ; elles doivent modéliser la plate-forme pétrolière sur laquelle l'employé travaille. Sinon, ils pourraient trébucher lors d'un moment crucial en essayant de traduire leurs connaissances acquises à l'entraînement à la configuration actuelle de l'équipement.

Utilisez les modèles que vous avez

L'industrie regorge de données, de modèles et de géométries 3D qui peuvent être utilisés dans des applications XR. Glaze a utilisé l'exemple d'une entreprise développant des manèges et des attractions pour un parc à thème. Des modèles CAO 3D de ces manèges et attractions existent déjà. Ainsi, ils peuvent être utilisés pour accélérer le développement des applications XR.

Les parcs à thème sont des lieux recherchés, mais tout le monde n'a pas les moyens ou la capacité de les visiter. Cela peut être considéré comme un manque à gagner pour le parc et une opportunité perdue pour les visiteurs potentiels. Au lieu de cela, le parc pourrait créer des expériences immersives en utilisant ses modèles 3D pour atteindre ces fans. Désormais, plus de personnes peuvent accéder à ces attractions, de loin, indépendamment de leur emplacement physique ou de leur condition. Pendant ce temps, le parc crée une nouvelle source de revenus améliorant le retour sur investissement de ces attractions.

« Vous pouvez exploiter ces actifs de nombreuses fois encore », déclare Glaze. Ils sont désactivés à ce stade d'un point de vue sécurité. Vous n'allez pas inclure l'ensemble de votre modèle CAO. Mais vous pouvez réutiliser ces [modèles simplifiés] pour dynamiser votre équipe de vente. … Ces [expériences] pourraient être des choses comme … des essayages virtuels, ou vous faites une visite guidée des installations que vous avez créées en utilisant ces [modèles]."

Nettoyez et rationalisez vos données pour travailler en temps réel en 3D

Une grande partie des développeurs de l'industrie des données 3D internes ont accès à des fichiers sous forme de fichiers CAO. Cela a du sens, car les outils de CAO sont conçus pour des flux de travail industriels tels que la conception, le développement et la fabrication de produits. Ces flux de travail nécessitent plus d'informations que nécessaire, ou compatibles, avec les environnements XR. Mais comme le prétend la meilleure pratique précédente, ces données CAO devraient être utilisées. De Belle et Maurey-Delaunay expliquent que cette contradiction alimente une autre pratique exemplaire du développement XR : rationaliser et simplifier les données.

« Dissociez votre application de vos données, externalisez les données », déclare Maurey-Delaunay. C'est vraiment important car le prochain matériel qui va sortir, vous devrez peut-être retravailler les données pour qu'elles correspondent aux exigences matérielles de cette plateforme. Si vos données sont intégrées dans votre application, cela va créer beaucoup de travail pour rouvrir le projet afin d'ingérer les données.

La première façon de procéder consiste à créer des systèmes de chargement de niveaux de détail hiérarchiques (ou LODing), où les caractéristiques d'un objet 3D sont variables. Essentiellement, lorsque l'utilisateur voit un objet de loin, c'est un simple contour du modèle 3D — même si cet objet est composé de milliers de pièces. À mesure que les utilisateurs se rapprochent, plus de détails sont dessinés et plus de modèles sont ajoutés à l'expérience. Finalement, suffisamment de données sont intégrées dans la réalité numérique pour que les utilisateurs puissent zoomer sur des parties individuelles. De Belle désigne cela comme une méthode de streaming de polygones pour la géométrie 3D.

Il explique également que des outils peuvent être utilisés pour extraire des données à partir de modèles CAO afin qu'elles puissent être utilisées dans un environnement plus « ludifié ». Cela a l'avantage supplémentaire de protéger la propriété intellectuelle (PI). Ces outils peuvent varier la quantité d'un modèle 3D qui est abstraite en fonction du cas d'utilisation XR.

« Cela renvoie à la première [meilleure pratique] », déclare de Belle. Demandez-vous : « Que cherchez-vous à faire avec ces données, et ensuite quelles parties des données puis-je simplifier ? » Cela va supprimer les problèmes de sécurité, {réduisant} les fuites de données, mais d'un autre côté, cela va réduire le poids total des données et les rendre beaucoup plus faciles à traiter {pour} les intégrer réellement dans une expérience en temps réel."

Préparer pour les nouveaux équipements XR, sources de données et intégrations

Pour optimiser le ROI d'une expérience XR, les développeurs doivent s'assurer qu'ils sont à l'épreuve du futur. Cela signifie non seulement qu'un jumeau numérique dans ces applications doit refléter un actif du monde réel en temps réel, mais cela signifie également que l'application XR elle-même est compatible avec le matériel XR actuel. Pour ce faire, les développeurs doivent s'assurer que leurs données respectent les normes ouvertes. Cela peut être difficile car les normes évoluent constamment et ne sont pas bien définies pour les applications XR.

Pour lutter contre cela, Maurey-Delaunay suggère que les systèmes automatisés sont vitaux. « Avoir de l'intelligence intégrée dans nos outils fait une énorme différence », dit-il. « Ce n'est pas juste une conversion [de modèles 3D], ce sont des conversions dynamiques qui s'adaptent à votre cas d'utilisation... Un assemblage complexe peut voir 60 mises à jour par jour, n'est-ce pas ? » Parce qu'il y a 30 personnes qui y travaillent sur différentes parties. Donc, avoir ces automatisations est crucial."

Commencez petit, puis élargissez

Une expérience XR n'a pas besoin d'englober toute une organisation dès sa sortie. Il peut, et devrait souvent, commencer petit pour simplifier le développement, réduire les défis et améliorer les intégrations de flux de travail. Il est bien mieux de créer une application XR qui montre à un ingénieur de maintenance comment réparer une pièce que de ne jamais la publier en raison de l'ajout excessif de fonctionnalités. Une fois que l'expérience a prouvé sa valeur, elle peut ensuite être étendue à d'autres situations.

Maurey-Delaunay note que cela revient encore une fois à se demander ce que l'expérience XR va résoudre, car cela aide à définir sa portée initiale. Il dit : « C'est trouver ces petits problèmes, les résoudre, puis construire là-dessus une fois que vous avez prouvé le retour sur investissement pour cette solution. » Vous vous appuyez sur cela pour résoudre de plus en plus de problèmes au sein de l'organisation."

Comment Unity peut aider à créer des expériences XR

Avec l'aide de Unity, les développeurs peuvent créer des expériences XR industrielles tout en respectant les meilleures pratiques et en limitant les défis courants.

Par exemple, Unity Pixyz peut être un atout précieux pour les développeurs cherchant à intégrer les données 3D de leur organisation dans des applications XR. L'outil est capable d'importer et de convertir des formats de données CAD, BIM, maillage, nuage de points et de nombreux formats de données 3D, de les optimiser et de gérer les métadonnées à l'intérieur pour les rendre adaptés à une utilisation dans des expériences XR. Unity propose également des outils de gestion des ressources, qui facilitent la tâche des développeurs pour trouver et utiliser ces données afin de créer des expériences immersives.

À titre de preuve, Glaze cite un exemple de client Unity provenant d'une entreprise de construction japonaise. L'entreprise a numérisé tous ses actifs et ses conceptions. Toute machine qu'il utilise ou construit peut être utilisée dans n'importe quelle expérience XR que l'entreprise souhaite créer. Et parce que l'entreprise utilise l'écosystème Unity, ces applications peuvent être déployées à la fois sur les navigateurs web et les applications natives. L'écosystème Unity a également offert une plateforme de bout en bout qui simplifie l'ingestion, le traitement, la préparation et la gestion des actifs 3D de l'entreprise de construction.

« La puissance de Unity est que nous pouvons vous aider à créer des expériences XR qui fonctionnent sur une tablette ou le dernier casque », déclare Glaze, « mais nous vous aidons également à prendre en charge vos appareils hérités, en étendant vos budgets et le besoin de former les employés sur de nouveaux équipements. »

Quant aux autres façons dont Unity peut aider les développeurs à produire des expériences XR, Glaze déclare : « Je pense que cela se résume à ceci : voulez-vous le faire vous-même, ou voulez-vous avoir toute une équipe chez Unity pour vous aider à vous assurer que vous êtes compatible avec le dernier appareil qui est sur le point de sortir. » Dans certains cas, nous avons même un accès anticipé au matériel, ce qui aide nos utilisateurs à être les premiers à déployer sur la prochaine grande nouveauté... Nous restons également à jour sur les dernières normes ouvertes. Qu'il s'agisse du dernier projet open source de Meta, ou de formats de fichiers comme la description de scène universelle (USD). Nous avons les ressources nécessaires pour pouvoir les suivre et nous assurer que nos utilisateurs restent aussi à jour que possible."

Unity propose également des ressources éducatives pour aider les développeurs à produire des applications XR industrielles. Ces ressources comprennent des formations, des consultations et des forums de discussion communautaires.