Wie BMW Unity nutzt, um neue Dimensionen für das Fahrerlebnis zu eröffnen.

Mit einer reichen Geschichte, die in überlegener Motorleistung verwurzelt ist, kennen die meisten die BMW-Marke als Synonym für ein erhöhtes Fahrerlebnis. Da die BMW Group in den letzten zehn Jahren auch für ihre Pionierarbeit im Bereich digitaler Innovationen in der Automobilindustrie bekannt ist, sollte es nicht überraschen, dass das Forschungsteam der BMW Group in den letzten Jahren die Initiative ergriffen hat, um Wege zu finden, Augmented-Reality-Technologie in ihre Fahrzeuge zu bringen. Wir haben uns mit den Forschungsingenieuren Manfred Pauli und Wolfgang Haberl zusammengesetzt, um über ihre Vision für die Zukunft des Fahrens zu sprechen und wie BMW das In-Vehicle-Erlebnis mit Augmented Reality (AR) innoviert.

Welche Teams oder Geschäftseinheiten bei BMW nutzen derzeit Unity?

Manfred: Wir sind Teil des Forschungsteams der BMW Group. Wir bauen frühe Prototypen und bieten einen Ausblick auf zukünftige Generationen von BMW-Fahrzeugen. Unity wird im gesamten Unternehmen verwendet, insbesondere zur Gestaltung von Head-up-Display-Grafiken oder zur Entwicklung von Grafikprototypen.

Wie funktioniert dieser neue Prototyp für ein Head-up-Display? Was sind die aktuellen Möglichkeiten, wenn es darum geht, AR zu nutzen, um ein neues Fahrerlebnis zu schaffen?

Wolfgang: In diesem Fall handelt es sich um ein AR-Brillendisplay, das einige Ähnlichkeiten mit dem Head-up-System aufweist. Wir versuchen zu sehen, was die spezifischen Anforderungen für AR-Brillen sind und wo sie zusätzlich zu einem traditionellen Head-up-Display sinnvoll sind. Unser aktueller Prototyp umfasst einige Anwendungsfälle für Fahrer und einige für Passagiere, um die Bandbreite der Möglichkeiten zu demonstrieren. Für den Fahrer haben wir eine Unterstützung zur Fahrerassistenz. Sie sehen zum Beispiel unterstützende grafische Distanzdarstellungen während des Parkens, Sie haben Ihre Navigationspfeile, die Sie genau entlang der Straße und an den Kreuzungen führen, an denen Sie abbiegen müssen. Es hebt auch andere Dinge hervor, wie Markierungen für Schlaglöcher und Baustellen sowie einige Beschilderungen, die Sie möglicherweise übersehen, wie Geschwindigkeitsbegrenzungen oder Fußgängerüberwege. All diese Informationen werden in Ihre zentrale Ansicht in AR integriert. Für den Passagier versuchen wir wirklich zu erkunden, was eine angenehme Nutzung der Zeit im Auto sein könnte. Wir haben ein Spielbeispiel implementiert, das es Ihnen ermöglicht, Münzen zu sammeln, die entlang der Fahrstrecke erscheinen, um Punkte zu gewinnen. Wir haben auch eine Funktion, die es Ihnen ermöglicht, die Brille als Ihr persönliches Kino zu nutzen.

Können Sie darüber sprechen, welche Ziele Sie letztendlich erreichen möchten, indem Sie AR zu Fahrern bringen? Sie haben Sicherheit und Navigation sowie das gesamte Fahrerlebnis angesprochen und es immersiver gestaltet. Was hoffen Sie zu sehen?

Manfred: BMW ist, wie Sie wissen, kein Hersteller von AR-Brillen. Was wir tun möchten, ist, dem Kunden zu ermöglichen, seine bestehenden AR-Brillen, die er bereits außerhalb des Autos verwendet, zu verbinden. Das übergeordnete Ziel ist es, dass jedes Set von AR-Brillen im Auto funktioniert, so wie wir es mit dem Smartphone gemacht haben. Es gibt bereits eine Vielzahl von AR-Apps, aber das, was derzeit auf dem Markt ist, funktioniert während der Fahrt nicht, da sich das Auto und der Kopf bewegen. Die Geräte müssen in der Lage sein, zwischen diesen Bewegungen zu unterscheiden, aber nach unserem Wissen kann keiner der Brillenhersteller das notwendige Tracking mit 6 Freiheitsgraden (6-dof) ohne zusätzliche Daten vom Auto bisher durchführen. Wir haben unseren eigenen Algorithmus zur Verfolgung von Brillen, Software und Fahrzeugschnittstelle entwickelt, damit wir Brillen im Auto funktionsfähig machen können. Das ist der erste Schritt.

Wolfgang: Dieses grundlegende System zum Laufen zu bringen, hat in den letzten Jahren viel Zeit in Anspruch genommen. Diese Tracking-Lösung ermöglicht es uns, stabile Augmentierungen zu platzieren, während das Auto sich bewegt. Jetzt sind wir in der Lage, virtuelle Objekte auf dem Armaturenbrett zu platzieren, die den Bewegungen des Autos folgen. Gleichzeitig können wir Beschilderungen oder Marker auf der Straße oder an einem Gebäude in Ihrer Umgebung platzieren, die unabhängig von den Bewegungen des Autos oder des Kopfes des Benutzers sind.

Wir prototypisieren verschiedene Anwendungsfälle, um zu sehen, was sinnvoll ist und was dem Fahrer hilft. Natürlich geht es immer darum, Inhalte zu erstellen, die das Fahren sicherer machen. Wir versuchen herauszufinden, was wir anzeigen können, um Ihre kognitive Belastung zu reduzieren, wenn Sie die Augmentation direkt vor sich haben. Wir testen diese Funktionen mit Testfahrern in unserem Simulator, um zu untersuchen, ob sich ihre Reaktionszeiten verbessern, wenn sie die Brille tragen, im Vergleich zur Nutzung eines klassischen Cockpits.

Werden AR-Brillen eine Ergänzung zu dem sein, was Sie im Head-up-Display sehen, oder sind es im Grunde die gleichen Informationen?

Wolfgang: Wir denken, dass aktuelle AR-Brillen eine großartige Erweiterung für ein reguläres Head-up-System sein könnten. Das Head-up-Display liefert wichtige Informationen, die nicht an die Welt gebunden sind, wie Fahrzeuggeschwindigkeit, Abbiege-Navigation und das aktuelle Tempolimit. Es ist immer verfügbar, egal ob Sie die Brille tragen oder nicht. Die Brille bietet ein riesiges Sichtfeld, das deutlich größer ist als die Bildgrößen von Head-up-Displays. Dies ermöglicht die Abdeckung eines großen Teils der realen Welt mit Augmentationen und erweitert somit das traditionelle Head-up.

Lass uns etwas allgemeiner über die Autoindustrie und die allgemeine AR-Akzeptanz sprechen. Wie Sie gesagt haben, befindet sich das alles noch in der frühen Entwicklung. Was denken Sie, ist der aktuelle Stand für die meisten Hersteller, und was priorisieren Sie als BMW und andere, während Sie sich darauf zubewegen?

Wolfgang: Von dem, was wir auf dem Markt sehen, integrieren viele Unternehmen derzeit AR-Funktionen in ihre bestehenden Head-up-Systeme, was aus unserer Sicht viel Sinn macht. Gleichzeitig sind diese Lösungen immer noch auf das kleinere Sichtfeld des Head-up-Systems beschränkt. Deshalb haben wir viel Aufwand in AR-Brillen gesteckt, um zu sehen, wie sie das verbleibende Sichtfeld nutzen könnten. Wir haben derzeit das einzige System, das mit einem kleinen Paar AR-Brillen funktioniert, die wirklich ergonomisch sind und ein ansprechendes Formfaktor und Design bieten (die Xreal Air 2). Wir haben viel Entwicklungsaufwand betrieben, um das Tracking auf einem kundenfreundlichen Gerät zum Laufen zu bringen.

Wir hoffen, dass mehr Unternehmen, die Brillen herstellen, mit uns zusammenarbeiten und ihre Brillen mit unseren Fahrzeugen kompatibel machen. In Zukunft erwarten wir, dass Brillen so allgegenwärtig sein werden wie Smartphones. Wir wollen einen Branchenstandard mit unserer Integration setzen, um eine gemeinsame Grundlage für Brillenhersteller und Automobilhersteller zu schaffen, die eine funktionierende Plattform unabhängig von einer bestimmten Kombination von Brillen- und Automarken bietet.

Manfred: Wir sind 2014 mit einem anderen Paar Brillen an die Öffentlichkeit gegangen. Wir haben ODG-Smart-Brillen verwendet, und wenn man diese mit denjenigen vergleicht, die wir jetzt verwenden, hat sich viel verändert. Das Sichtfeld hat sich fast verdoppelt, und die Bildqualität hat sich erheblich verbessert. Darüber hinaus können wir jetzt Unity verwenden. Wir freuen uns wirklich, diese Technologie reifen zu sehen, und sind stolz auf unsere Arbeit.

Welche Einschränkungen in Bezug auf die Sicherheit der Fahrer, die Erwartungen der Verbraucher oder die Hardware berücksichtigen Sie, wenn Sie an die nächste Phase denken?

Wolfgang: Aus der Sicht des Verbrauchers wollen wir, dass die Brillen noch kleiner werden, um die Tragbarkeit und den Komfort zu erhöhen. Die meisten der aktuellen Geräte sind für den Innenbereich konzipiert und haben eine sehr geringe Tönung. Wenn Sie also draußen in der Sonne fahren, ist die Tönung möglicherweise nicht dunkel genug, um den angezeigten Inhalt zu sehen. Andererseits benötigen Sie nachts überhaupt keine Tönung. Folglich ist dynamisches Tönen eine wünschenswerte Funktion. Gleichzeitig benötigen Sie ein sehr gutes Display, das einen breiten Helligkeitsbereich bietet, um eine überzeugende Bildqualität selbst bei hellem Sonnenlicht zu erreichen.

Viele dieser Brillen sind auch batteriebetrieben, sodass sie eine begrenzte Laufzeit haben. Natürlich stellen wir auch die wichtigsten Fahrinformationen in einem der eingebauten Displays des Autos aus Sicherheitsgründen zur Verfügung. Dennoch hoffen wir, dass die Laufzeiten für längere Fahrten zunehmen.

Wir sind in der Lage, die separaten Anzeigebereiche unserer verschiedenen Systeme im Auto zusammenzuführen, um Überlappungen zu vermeiden. Mit unserem Tracking-System wissen wir genau, wohin die Brillen schauen, und wir wissen auch, wo der Bereich für das Head-up-System und andere Displays ist. So können wir vermeiden, Elemente in den Brillen über anderen Displays anzuzeigen, was uns die Möglichkeit gibt, sie parallel zu betreiben.

Was sind Ihre Hoffnungen für die Rolle von BMW bei der Entwicklung dieser Technologie?

Manfred: BMW war der erste, der die Head-up-Display-Technologie einführte, inspiriert von der Luftfahrtindustrie. Was kommt nach dem Head-up? Wir bringen ein völlig neues Benutzerinterface mit dem BMW Panoramic Vision in Serienfahrzeugen ab 2025 auf den Markt. Die gesamte Breite der Windschutzscheibe wird dann für die Anzeige genutzt, von Säule zu Säule. Wir denken immer darüber nach, was als Nächstes kommt. Wir möchten auf den großen Nutzen von AR-Brillen im Auto hinweisen. Unser Hauptziel ist es, maximale Sicherheit in Kombination mit purem Fahrvergnügen zu schaffen. BMW-Fahrer werden nicht abgelenkt, sondern intuitiv in ihrer Fahraufgabe unterstützt, was zu zusätzlicher Aufregung führt.

Wolfgang: Wir glauben, dass ein wichtiger Schritt darin besteht, einen Standard für die Integration von Autos mit mehr Brillenherstellern zu schaffen und ihn kontinuierlich zu verbessern. Aus der Sicht des Kunden sollten ihre Brillen einfach in ihrem Auto funktionieren, unabhängig von den jeweiligen Herstellern.

Wie haben Sie sich entschieden, Unity für den Bau dieses Projekts auszuwählen? Wie passt Unity in Ihre aktuellen Entwicklungsabläufe?

Wolfgang: Die meisten Unternehmen, die derzeit AR-Brillen auf dem Markt anbieten, unterstützen Unity. Heute ist die Unity Engine der De-facto-Standard für AR-Brillen. Es machte auf jeden Fall am meisten Sinn für uns, aus diesem Grund mit Unity zu gehen.

Manfred: Der Unity Asset Store war ein weiterer zusätzlicher Vorteil. Die Karten-Plugins von Infinity Code waren eine große Hilfe bei der Entwicklung von Navigationsfunktionen. Wir hatten Designer, die am Prototyp arbeiteten, der Assets aus Blender importieren würde, und dann integrierten wir sie in den Unity-Editor und setzten sie über unsere Android-Geräte ein. Von allem, was mit der Aufzeichnung von Routen mit unseren Autos und Simulationen zu tun hat, war Unity ein sehr anpassbares Werkzeug, das uns sehr geholfen hat.

Wolfgang: Wir wissen, dass technische Forschungsprojekte oft schwer zu vermitteln oder zu erklären sind, sowohl für Laien als auch manchmal für Entscheidungsträger. Wir versuchen immer, Anwendungsfälle und großartige Visualisierungen zu implementieren, um die Idee und die Vision des Endkundenprodukts zu transportieren. Unity war eine große Hilfe, um von all den niedrigstufigen Problemen abzusehen, die erforderlich sind, um die Visualisierungen auf die gewünschte Weise darzustellen. Das machte unsere gesamte Vision viel verständlicher und faszinierte die Menschen wirklich. Es ermöglichte ihnen zu sehen, wie cool und immersiv die Zukunft von AR-Brillen in Fahrzeugen sein könnte.

Möchten Sie mehr über dieses spannende Projekt erfahren? Sehen Sie sich unsere Deep-Dive-Session mit BMW von Unite 2024 in Barcelona an.

Erforschen Sie die Möglichkeiten von Unity für die Automobilindustrie oder kontaktieren Sie uns für weitere Informationen.