Comment BMW utilise Unity pour ouvrir de nouvelles dimensions pour l'expérience de conduite.

Avec une riche histoire ancrée dans des performances de moteur supérieures, la plupart connaissent la marque BMW comme étant synonyme d'une expérience de conduite élevée. Comme le groupe BMW a également été connu pour être à l'avant-garde des innovations numériques dans l'industrie automobile au cours de la dernière décennie, il ne devrait pas être surprenant que, ces dernières années, l'équipe de recherche du groupe BMW ait mené la charge en ce qui concerne la recherche de moyens pour intégrer la technologie de réalité augmentée dans leurs véhicules. Nous avons rencontré les ingénieurs de recherche Manfred Pauli et Wolfgang Haberl pour discuter de leur vision pour l'avenir de la conduite et de la manière dont BMW innove l'expérience à bord avec la réalité augmentée (RA).

Quelles équipes ou unités commerciales chez BMW utilisent actuellement Unity ?

Manfred : Nous faisons partie de l'équipe de recherche du groupe BMW. Nous construisons des prototypes précoces et fournissons une veille pour les générations futures de véhicules BMW. Unity est utilisé dans toute l'entreprise, notamment pour concevoir des graphiques d'affichage tête haute ou développer des prototypes graphiques.

Comment fonctionne ce nouveau prototype pour un affichage tête haute ? Quelles sont les capacités actuelles en matière d'utilisation de la RA pour créer une nouvelle expérience de conduite ?

Wolfgang : Dans ce cas, il s'agit d'un affichage de lunettes AR, donc il a certaines similitudes avec le système tête haute. Nous essayons de voir quelles sont les spécificités des lunettes AR et où elles ont du sens en plus d'un affichage tête haute traditionnel. Notre prototype actuel inclut des cas d'utilisation liés au conducteur et au passager pour démontrer la gamme de possibilités. Pour le conducteur, nous avons une augmentation de l'assistance au conducteur. Vous voyez, par exemple, des représentations graphiques d'assistance à la distance lors du stationnement, vous avez vos flèches de navigation qui vous guident exactement le long de la route et aux intersections où vous devez tourner. Il met également en évidence d'autres choses, comme des marqueurs pour les nids de poule et les chantiers, ainsi que certains panneaux que vous pourriez négliger, comme une limite de vitesse ou un passage piéton. Toutes ces informations sont intégrées dans votre vue centrale en RA. Pour le passager, nous essayons vraiment d'explorer ce qui pourrait être une belle utilisation du temps dans la voiture. Nous avons mis en place un exemple de jeu qui vous permet de collecter des pièces qui apparaissent le long de la route de conduite afin de gagner des points. Nous avons également une fonctionnalité qui vous permet d'utiliser les lunettes comme votre cinéma personnel.

Pouvez-vous parler des objectifs que vous essayez finalement d'atteindre en apportant la réalité augmentée aux conducteurs ? Vous avez évoqué la sécurité et la navigation, ainsi que l'expérience de conduite globale et son immersion. Que souhaitez-vous voir ?

Manfred : BMW n'est pas, comme vous le savez, un fabricant de lunettes AR. Donc, ce que nous voulons faire, c'est permettre au client de connecter ses lunettes AR existantes qu'il utilise déjà en dehors de la voiture. L'objectif global est de faire fonctionner n'importe quel ensemble de lunettes AR à l'intérieur de la voiture, comme nous l'avons fait avec le smartphone. Il existe déjà une multitude d'applications AR, mais ce qui est sur le marché actuellement ne fonctionne pas pendant la conduite car la voiture et la tête bougent toutes deux. Les dispositifs doivent être capables de différencier ces mouvements, mais à notre connaissance, aucun des fabricants de lunettes ne peut effectuer le suivi nécessaire à 6 degrés de liberté (6-dof) sans données supplémentaires de la voiture pour l'instant. Nous avons développé notre propre algorithme de suivi de lunettes, logiciel et interface véhicule afin de permettre aux lunettes de fonctionner à l'intérieur de la voiture. C'est la première étape.

Wolfgang : Faire fonctionner ce système de base a pris beaucoup de notre temps au cours des dernières années. Cette solution de suivi nous permet de placer des augmentations stables pendant que la voiture est en mouvement. Nous sommes maintenant capables de placer des actifs virtuels sur le tableau de bord qui suivent les mouvements de la voiture. En même temps, nous pouvons placer des panneaux ou des marqueurs sur la route ou sur un bâtiment dans votre environnement qui sont indépendants des mouvements de la voiture ou de la tête de l'utilisateur.

Nous sommes en train de prototyper différents cas d'utilisation pour voir ce qui a du sens et ce qui est utile pour le conducteur. Bien sûr, il s'agit toujours de créer du contenu qui rendra la conduite plus sûre. Nous essayons de voir ce que nous pouvons afficher pour réduire votre charge cognitive lorsque vous avez l'augmentation juste devant vous. Nous testons ces fonctionnalités avec des conducteurs d'essai dans notre simulateur pour étudier si leurs temps de réaction s'améliorent lorsqu'ils portent les lunettes par rapport à l'utilisation d'un cockpit classique.

Les lunettes AR seront-elles complémentaires à ce que vous voyez dans l'affichage tête haute ou s'agit-il essentiellement des mêmes informations ?

Wolfgang : Nous pensons que les lunettes AR actuelles pourraient être une excellente extension d'un système tête haute régulier. L'affichage tête haute fournit des informations importantes qui ne sont pas verrouillées sur le monde, comme la vitesse du véhicule, la navigation étape par étape et la limite de vitesse actuelle. Il est toujours disponible, peu importe si vous portez les lunettes ou non. Les lunettes offrent un champ de vision énorme, significativement plus grand que les tailles d'image de tout affichage tête haute. Cela permet de couvrir une bonne partie du monde réel avec des augmentations, prolongeant ainsi le traditionnel tête haute.

Parlons un peu plus largement de l'industrie automobile et de l'adoption générale de l'AR. Comme vous l'avez dit, tout cela est encore en développement précoce. Quel est, selon vous, l'état actuel pour la plupart des fabricants, et quelles sont vos priorités, en tant que BMW, et d'autres, alors que vous vous dirigez vers cela ?

Wolfgang: D'après ce que nous voyons sur le marché, de nombreuses entreprises intègrent actuellement des fonctionnalités AR dans leurs systèmes tête haute existants, ce qui, de notre point de vue, a beaucoup de sens. En même temps, ces solutions sont encore limitées au champ de vision plus petit du système tête haute. C'est pourquoi nous mettons beaucoup d'efforts dans les lunettes AR pour voir comment elles pourraient utiliser le champ de vision restant. Nous avons actuellement le seul système qui fonctionne avec une petite paire de lunettes AR qui sont vraiment ergonomiques et offrent un facteur de forme et un design convaincants (les Xreal Air 2). Nous avons investi beaucoup d'efforts de développement pour faire fonctionner le suivi sur un appareil convivial.

Nous espérons que d'autres entreprises qui produisent des lunettes coopéreront avec nous et rendront leurs lunettes compatibles avec nos véhicules. À l'avenir, nous nous attendons à ce que les lunettes soient aussi omniprésentes que les smartphones. Nous voulons établir une norme industrielle avec notre intégration afin de fournir une base commune pour les fabricants de lunettes et les fabricants de voitures afin d'avoir une plateforme de travail indépendante d'une certaine combinaison de marques de lunettes et de voitures.

Manfred: Nous sommes devenus publics avec une paire de lunettes différente en 2014. Nous avons utilisé des lunettes intelligentes ODG, et si vous les comparez à celles que nous utilisons maintenant, beaucoup de choses ont changé. Le champ de vision a presque doublé, et la qualité d'image s'est beaucoup améliorée. De plus, nous pouvons maintenant utiliser Unity. Nous sommes vraiment heureux de voir cette technologie mûrir et sommes fiers de notre travail.

Quelles limitations concernant la sécurité des conducteurs, les attentes des consommateurs ou le matériel prenez-vous en compte lorsque vous pensez à la prochaine phase de cela ?

Wolfgang : Du point de vue du consommateur, nous voulons que les lunettes deviennent encore plus petites afin d'augmenter le confort et la portabilité. La plupart des appareils actuels sont destinés à un usage intérieur et ont très peu de teinte. Donc, si vous conduisez à l'extérieur au soleil, la teinte peut ne pas être assez foncée pour voir le contenu affiché. D'un autre côté, si vous conduisez la nuit, vous n'avez pas besoin de teinte du tout. Par conséquent, le teint dynamique est une fonctionnalité souhaitable. En même temps, vous avez besoin d'un très bon affichage qui fournit une large gamme de luminosité pour obtenir une qualité d'image convaincante même en plein soleil.

Beaucoup de ces lunettes sont également alimentées par batterie, donc elles ont une autonomie limitée. Bien sûr, nous fournissons également les informations de conduite les plus importantes dans l'un des affichages intégrés de la voiture pour des raisons de sécurité. Néanmoins, nous espérons voir l'autonomie augmenter pour des trajets plus longs.

Nous sommes capables de fusionner les zones d'affichage séparées de nos différents systèmes dans la voiture pour éviter les chevauchements. Avec notre système de suivi, nous savons exactement où les lunettes regardent, et nous savons aussi où se trouvent la zone pour le système d'affichage tête haute et d'autres affichages. Ainsi, nous pouvons omettre de mettre des éléments dans les lunettes par-dessus d'autres affichages, ce qui nous donne la possibilité de les faire fonctionner en parallèle.

Quelles sont vos attentes concernant le rôle de BMW dans le développement de cette technologie?

Manfred : BMW a été le premier à introduire la technologie d'affichage tête haute, inspirée par l'industrie aéronautique. Alors, quelle est la prochaine étape après l'affichage tête haute ? Nous lançons une interface utilisateur complètement nouvelle avec le BMW Panoramic Vision dans des véhicules de série à partir de 2025. Toute la largeur du pare-brise est alors utilisée pour l'affichage, d'un pilier à l'autre. Nous réfléchissons toujours à ce qui vient ensuite. Nous voulons souligner l'énorme avantage des lunettes AR dans la voiture. Notre objectif principal est de créer une sécurité maximale en combinaison avec un pur plaisir de conduite. Les conducteurs de BMW ne sont pas distraits mais soutenus de manière intuitive dans leur tâche de conduite, ce qui entraîne une excitation supplémentaire.

Wolfgang : Nous croyons qu'une étape importante est de créer une norme pour l'intégration des voitures avec plus de fabricants de lunettes et de continuer à l'améliorer. Du point de vue du client, leurs lunettes devraient simplement fonctionner dans leur voiture, indépendamment des fabricants respectifs.

Lorsqu'il s'est agi de construire cela, comment avez-vous pris la décision de choisir Unity ? Comment Unity s'intègre-t-il dans vos flux de développement actuels ?

Wolfgang: La plupart des entreprises proposant des lunettes AR sur le marché actuellement prennent en charge Unity. Aujourd'hui, le Unity Engine est la norme de facto pour les lunettes AR. Il était donc logique pour nous d'opter pour Unity pour cette raison.

Manfred : Le Unity Asset Store était un autre avantage supplémentaire. Les plugins de carte de Infinity Code ont été d'une grande aide dans le développement des fonctionnalités de navigation. Nous avions des designers travaillant sur le prototype qui intégrerait des ressources de Blender, puis nous les avons intégrées dans l'éditeur Unity et déployées via nos appareils Android. De tout ce qui concerne l'enregistrement des itinéraires avec nos voitures et la simulation, Unity a été un outil très personnalisable qui nous a beaucoup aidés.

Wolfgang : Nous savons que souvent, les projets de recherche technique sont difficiles à transmettre ou à expliquer aux non-experts et parfois aussi aux décideurs. Nous essayons toujours de mettre en œuvre des cas d'utilisation et de superbes visualisations pour transporter l'idée et la vision du produit final du client. Unity a été d'une grande aide pour abstraire tous les problèmes de bas niveau liés à l'affichage des visualisations de la manière souhaitée. Cela a rendu notre vision beaucoup plus compréhensible et a vraiment fasciné les gens. Cela leur a permis de voir à quel point l'avenir des lunettes AR dans les véhicules pourrait être cool et immersif.

Vous voulez en savoir plus sur ce projet passionnant ? Regardez notre session approfondie avec BMW de Unite 2024 à Barcelone.

Explorez les possibilités de Unity pour l'automobile, ou contactez-nous pour plus d'informations.