From simulation to real-world deployment: Unity Simulation Pro early access
Isaac Seah - Unity Technologies
Principal Technical Product Manager
Cette page a été traduite automatiquement pour faciliter votre expérience. Nous ne pouvons pas garantir l'exactitude ou la fiabilité du contenu traduit. Si vous avez des doutes quant à la qualité de cette traduction, reportez-vous à la version anglaise de la page web.
Les équipes de robotique construisent sur Unity Industry depuis des années, travaillant sur une grande variété de défis, de la validation de la conduite autonome et des jumeaux numériques de fabrication au développement de dispositifs chirurgicaux. En cours de route, chacune de ces équipes a résolu le même ensemble de problèmes indépendamment : La description physique du robot a dû être reconstruite à la main, les capteurs ont dû être réécrits à partir de zéro, et les intégrations avec des normes ouvertes comme ROS ont dû être construites et maintenues. En intégrant ces capacités dans un seul package pris en charge, Unity Simulation Pro peut aider les équipes à passer moins de temps à construire l'infrastructure de simulation et plus de temps à valider les systèmes robotiques.
Aujourd'hui, nous lançons Unity Simulation Pro en accès anticipé, le package de simulation robotique de Unity conçu pour ces flux de travail. Unity Simulation Pro est compatible avec Unity 6.3 et les versions ultérieures et nécessite une licence Unity Industry.
Ce que Simulation Pro comprend
Simulation Pro est une boîte à outils robotique entièrement prise en charge qui aide les développeurs à importer, simuler et itérer sur des systèmes robotiques directement dans Unity. Ce package apporte un niveau de support accru à un large éventail de cas d'utilisation, de la simulation de capteurs à l'entraînement de robots en passant par la mise en service virtuelle de systèmes robotiques, ce qui rend plus facile que jamais la création de simulations et d'applications robotiques avec Unity.
Au niveau général, cela comprend :
- Importateur URDF (Unified Robot Description Format), une expérience glisser-déposer qui intègre la description physique existante d'un robot dans Unity avec sa chaîne cinématique intacte
- Simulation de capteurs prête à l'emploi, couvrant les configurations LiDAR, image et unité de mesure inertielle (IMU)
- Compatibilité ROS 2, connecter Unity aux systèmes fonctionnant sur Robot Operating System 2
- Cible de construction Linux sans interface graphique, afin que les équipes puissent exécuter des simulations sans interface graphique et les mettre à l'échelle en parallèle sur du matériel existant
“Les équipes de robotique sont venues à Unity parce qu'elles avaient besoin de rendu en temps réel, de physique précise et de simulation de capteurs en laquelle elles pouvaient avoir confiance. Au fond, ils voulaient une base pour faire passer les robots du laboratoire au monde réel en toute fluidité. Simulation Pro est cette fondation, et les clients de Unity Industry peuvent y accéder aujourd'hui. ”
Alex Blum - Unity
Chief Operating OfficerComment les équipes exploitent Unity pour la robotique
Valider la conduite autonome sans le véhicule de test
TIER IV travaille à rendre la conduite autonome accessible à tous en ouvrant le développement pour améliorer l'accessibilité et l'évolutivité. Pour soutenir cette vision, TIER IV a développé AWSIM, un simulateur open-source développé avec Unity qui aide les équipes à tester, valider et optimiser Autoware, le logiciel de conduite autonome open-source, dans un environnement plus réaliste et efficace.

La simulation de conduite autonome impose des exigences de rendu que les applications 3D interactives typiques ne nécessitent pas, car chaque image doit alimenter plusieurs capteurs haute résolution en temps réel. Certains scénarios AWSIM exigent que huit caméras ou plus fonctionnent simultanément tout en préservant la fidélité des capteurs, ce que les techniques d'optimisation standard n'ont pas pu fournir par elles-mêmes. Travaillant dans Unity, l'équipe a construit un ensemble d'optimisations spécialisées pour supporter cette charge : rendu échelonné entre les caméras pour lisser les pics de trame, commandes de mise à l'échelle temporelle pour allouer plus de ressources par image, optimisation des actifs et la flexibilité d'utiliser différents pipelines de rendu au sein d'un seul projet pour équilibrer la précision et le taux de trame.
TIER IV a également utilisé le système de travail Unity et le moteur Physique intégré pour maintenir des performances en temps réel sur la simulation de véhicules, de trafic et de piétons. Pour les tests en boucle avec matériel, l'équipe a analysé les paquets de capteurs bruts et reproduit la sortie équivalente à partir de Unity, permettant de tester les configurations de capteurs de caméra en boucle avant que quoi que ce soit ne soit déployé sur un véhicule de test physique, réduisant ainsi les heures de véhicule de test physique et les coûts de tests sur route.
100 000 images étiquetées provenant d'une plante sans CAO
L'Institut coréen de technologie industrielle (KITECH) avait besoin de données d'entraînement pour l'IA qui comprend comment les humains et les robots partagent un atelier de fabrication. C'est l'un des ensembles de données les plus difficiles à collecter dans le monde physique. Une usine bien gérée est agencée de telle sorte que des moments de proximité entre un travailleur et une machine ne se produisent jamais, et qu'organiser ces moments à plusieurs reprises pour les filmer n'est pas une option raisonnable.

Pour mesurer la proximité, la vidéo, la profondeur, les articulations du robot et la pose humaine devaient exister au même moment, afin que les étiquettes de distance et de zone de sécurité puissent être calculées de manière cohérente. Pour commencer, KITECH a construit un jumeau numérique d'une usine de fonderie métallique à partir de scans de nuage de points, car aucune source CAO n'existait. L'équipe a ensuite construit des systèmes de physique, de capteurs et de simulation sur ce jumeau numérique. Le dispositif de capteurs utilisé composants de capteurs personnalisés correspondant au dispositif réel, assurant que chaque observation partageait une horloge de simulation.
Ils ont également tiré parti des composants Articulation Body de Unity pour la simulation de robots, rejouant des trajectoires articulaires enregistrées afin que l'inertie et le contact soient calculés ensemble, garantissant que le mouvement était physiquement valide plutôt que simplement plausible.
Cette fidélité physique a permis à KITECH de générer automatiquement plus de 100 000 images d'entraînement pré-étiquetées en 14 semaines, éliminant le besoin de mettre en scène manuellement des scénarios de proximité dangereux sur un sol d'usine actif tout en assurant un transfert fiable du simulateur au réel.
Jumeau numérique de chirurgie assistée par robot
Medtronic a construit un pipeline d'enregistrement et de lecture de données dans Unity autour de un jumeau numérique de son système de chirurgie assistée par robot Hugo, capturant 195 procédures sur cinq sites mondiaux.
“« Unity est notre premier point de contact pour tous les prototypes afin que nous puissions présenter les choses aux chirurgiens rapidement. »”
Matthew Euliano - Medtronic
Senior Software Engineer
Les enregistrements sont devenus un ensemble de données réutilisable pour les ingénieurs et les chercheurs. Au lieu d'attendre l'accès à la salle d'opération pour répondre à une question, les équipes pourraient charger une procédure enregistrée, la parcourir, isoler le moment pertinent et l'inspecter sous tous les angles. Les mêmes données ont également pris en charge des relectures déterministes qui enregistraient les données de procédure pour entraîner de nouveaux modèles d'IA et éclairer la conception des appareils de nouvelle génération, de sorte que chaque enregistrement continue de produire de la valeur bien après la fin de la procédure elle-même.
Disponibilité et Tarification
- Simulation Pro est disponible en accès anticipé à partir du mardi 22 septembre. S'inscrire à l'accès anticipé de Unity Simulation Pro.
- Simulation Pro est compatible avec Unity 6.3 et les versions ultérieures, et nécessite une licence Unity Industry.
- Simulation Pro est un package entièrement pris en charge qui comprend l'importateur URDF d'Unity, des capteurs prêts à l'emploi, la prise en charge de ROS 2 et une cible de construction Linux sans tête. Explorer la documentation du package Unity Simulation Pro.
- Un parcours d'apprentissage en robotique est disponible sur Unity Academy pour les équipes qui débutent. Explorez le parcours d'apprentissage en robotique sur Unity Academy.
Nous sommes particulièrement intéressés par les retours des équipes effectuant la validation de robots, les tests de capteurs ou la génération de données synthétiques à grande échelle dans les secteurs de la fabrication, de la logistique, de l'entreposage et d'autres secteurs de la robotique avancée.
Connectez-vous avec l'équipe de développement de Unity Simulation Pro sur Unity Discussions. Nous sommes impatients d'en apprendre davantage sur ce que vous construisez.