Как BMW использует Unity для открытия новых измерений в опыте вождения

С богатой историей, основанной на превосходной производительности двигателей, большинство людей знают бренд BMW как синоним повышенного уровня вождения. Поскольку группа BMW также известна своими цифровыми инновациями в автомобильной промышленности за последнее десятилетие, не должно быть сюрпризом, что в последние несколько лет исследовательская команда BMW Group возглавила усилия по поиску способов внедрения технологий дополненной реальности в свои автомобили. Мы встретились с исследовательскими инженерами Манфредом Паули и Вольфгангом Хаберлом, чтобы обсудить их видение будущего вождения и то, как BMW внедряет инновации в опыт в автомобиле с дополненной реальностью (AR).

Какие команды или бизнес-единицы в BMW в настоящее время используют Unity?

Манфред: Мы являемся частью исследовательской команды группы BMW. Мы создаем ранние прототипы и следим за будущими поколениями автомобилей BMW. Unity используется по всей компании, особенно для проектирования графики для проекционного дисплея или разработки графических прототипов.

Как работает этот новый прототип проекционного дисплея? Каковы текущие возможности использования AR для создания нового опыта вождения?

Вольфганг: В этом случае это дисплей AR-очков, поэтому он имеет некоторые сходства с системой проекционного дисплея. Мы пытаемся понять, каковы особенности AR-очков и где они имеют смысл в дополнение к традиционному проекционному дисплею. Наш текущий прототип включает в себя некоторые случаи использования, связанные с водителем и пассажиром, чтобы продемонстрировать диапазон возможностей. Для водителя у нас есть дополнение помощи водителю. Вы видите, например, графические представления расстояний во время парковки, у вас есть навигационные стрелки, которые точно направляют вас по дороге и перекресткам, где вам нужно повернуть. Он также подчеркивает другие вещи, такие как маркеры для ям и строительных площадок, а также некоторые знаки, которые вы можете упустить, такие как ограничение скорости или пешеходный переход. Вся эта информация представлена в вашем центральном представлении в AR. Для пассажира мы действительно пытаемся исследовать, как можно приятно использовать время в автомобиле. Мы реализовали игровой пример, который позволяет вам собирать монеты, появляющиеся вдоль маршрута, чтобы зарабатывать очки. У нас также есть функция, которая позволяет использовать очки как ваш личный кинотеатр.

Можете рассказать о целях, которые вы в конечном итоге пытаетесь достичь, внедряя AR для водителей? Вы затронули безопасность и навигацию, а также общий опыт вождения и его более погружающий характер. Что вы надеетесь увидеть?

Манфред: BMW, как вы знаете, не является производителем AR-очков. Итак, что мы хотим сделать, так это позволить клиенту подключить свои существующие AR-очки, которые они уже используют вне автомобиля. Общая цель состоит в том, чтобы любые AR-очки работали внутри автомобиля, как мы сделали это со смартфоном. Сейчас уже существует множество AR-приложений, но то, что есть на рынке, не работает во время вождения, потому что автомобиль и голова движутся. Устройства должны уметь различать эти движения, но, насколько нам известно, ни один из производителей очков не может осуществить необходимое отслеживание в 6 степенях свободы (6-dof) без дополнительных данных от автомобиля. Мы разработали свой собственный алгоритм отслеживания очков, программное обеспечение и интерфейс автомобиля, чтобы мы могли включить очки в работу внутри автомобиля. Это первый шаг.

Вольфганг: Создание этой базовой системы заняло много нашего времени за последние годы. Это решение для отслеживания позволяет нам размещать стабильные дополнения, пока автомобиль движется. Теперь мы можем размещать виртуальные объекты на приборной панели, которые следуют за движениями автомобиля. В то же время мы можем размещать знаки или маркеры на дороге или на здании в вашем окружении, которые независимы от движений автомобиля или головы пользователя.

Мы создаем прототипы различных случаев использования, чтобы увидеть, что имеет смысл и что полезно для водителя. Конечно, всегда речь идет о создании контента, который сделает вождение безопаснее. Мы пытаемся понять, что мы можем показать, чтобы уменьшить вашу когнитивную нагрузку, когда у вас есть дополнение прямо перед вами. Мы тестируем эти функции с тестовыми водителями в нашем симуляторе, чтобы изучить, улучшаются ли их времена реакции при ношении очков по сравнению с использованием классической кабины.

Будут ли AR-очки дополнять то, что вы видите на проекционном дисплее, или это в основном та же информация?

Вольфганг: Мы считаем, что текущие AR-очки могут стать отличным дополнением к обычной системе проекционного дисплея. Проекционный дисплей предоставляет важную информацию, которая не привязана к миру, такую как скорость автомобиля, навигация по поворотам и текущий лимит скорости. Он всегда доступен, независимо от того, носите ли вы очки или нет. Очки обеспечивают огромное поле зрения, значительно большее, чем размеры изображения любых проекционных дисплеев. Это позволяет охватить хорошую часть реального мира с дополнениями, тем самым расширяя традиционный проекционный дисплей.

Давайте поговорим немного шире об автомобильной индустрии и общем принятии AR. Как вы сказали, это все еще на ранней стадии разработки. Как вы думаете, каково текущее состояние для большинства производителей, и на что вы, как BMW, и другие ставите приоритеты, двигаясь в этом направлении?

Вольфганг: Судя по тому, что мы видим на рынке, многие компании в настоящее время интегрируют AR-функции в свои существующие системы проекционного дисплея, что, с нашей точки зрения, имеет большой смысл. В то же время эти решения все еще ограничены меньшим полем зрения системы проекционного дисплея. Вот почему мы прилагаем много усилий к AR-очкам, чтобы увидеть, как они могут использовать оставшееся поле зрения. У нас есть единственная система прямо сейчас, которая работает с небольшой парой AR-очков, которые действительно эргономичны и обеспечивают привлекательный форм-фактор и дизайн ( Xreal Air 2 ). Мы вложили много усилий в разработку, чтобы сделать отслеживание работоспособным на удобном для клиента устройстве.

Мы надеемся, что больше компаний, производящих очки, будут сотрудничать с нами и сделают свои очки совместимыми с нашими автомобилями. В будущем мы ожидаем, что очки станут такими же повсеместными, как смартфоны. Мы хотим установить отраслевой стандарт с нашей интеграцией, чтобы предоставить общую основу для производителей очков и производителей автомобилей, чтобы иметь рабочую платформу независимо от определенной комбинации брендов очков и автомобилей.

Мансфред: Мы вышли на рынок с другой парой очков в 2014 году. Мы использовали умные очки ODG, и если сравнить их с теми, что мы используем сейчас, многое изменилось. Поле зрения почти удвоилось, а качество изображения значительно улучшилось. Кроме того, теперь мы можем использовать Unity. Мы действительно рады видеть, как эта технология созревает, и гордимся нашей работой.

Какие ограничения по безопасности водителей, ожиданиям потребителей или аппаратному обеспечению вы учитываете, когда думаете о следующем этапе этого?

Вольфганг: С точки зрения потребителя, мы хотим, чтобы очки стали еще меньше, чтобы увеличить удобство ношения и комфорт. Большинство текущих устройств предназначены для использования в помещениях и имеют очень легкую тонировку. Поэтому, если вы едете на улице под солнцем, тонировка может быть недостаточно темной, чтобы увидеть отображаемый контент. С другой стороны, если вы едете ночью, вам вообще не нужна тонировка. Следовательно, динамическая тонировка является желаемой функцией. В то же время вам нужен очень хороший дисплей, который обеспечивает широкий диапазон яркости, чтобы достичь убедительного качества изображения даже при ярком солнечном свете.

Многие из этих очков также работают от батареи, поэтому у них ограниченное время работы. Конечно, мы также предоставляем самую важную информацию о вождении на одном из встроенных дисплеев автомобиля по соображениям безопасности. Тем не менее, мы надеемся увидеть увеличение времени работы для более длительных поездок.

Мы можем объединить отдельные области отображения наших различных систем в автомобиле, чтобы избежать наложения. С нашей системой отслеживания мы точно знаем, куда смотрят очки, и также знаем, где находятся области для системы проекции и других дисплеев. Таким образом, мы можем избежать размещения элементов в очках поверх других дисплеев, что дает нам возможность запускать их параллельно.

Каковы ваши надежды на роль BMW в развитии этой технологии?

Манфред: BMW первой представила технологию проекции на лобовое стекло, вдохновленную авиационной отраслью. Что дальше после проекции на лобовое стекло? Мы запускаем совершенно новый пользовательский интерфейс с BMW Panoramic Vision в серийных автомобилях, начиная с 2025 года. Вся ширина лобового стекла будет использоваться для отображения, от стойки до стойки. Мы всегда думаем о том, что будет дальше. Мы хотим подчеркнуть огромную пользу AR-очков в автомобиле. Наша главная цель - создать максимальную безопасность в сочетании с чистым удовольствием от вождения. Водители BMW не отвлекаются, а интуитивно поддерживаются в своей задаче вождения, что приводит к дополнительному восторгу.

Вольфганг: Мы считаем, что важным шагом является создание стандарта для интеграции автомобилей с большим количеством производителей очков и его постоянное улучшение. С точки зрения клиента, их очки должны просто работать в их автомобиле, независимо от соответствующих производителей.

Когда дело дошло до создания этого, как вы приняли решение выбрать Unity? Как Unity вписывается в ваши текущие рабочие процессы разработки?

Вольфганг: Большинство компаний, предлагающих AR-очки на рынке прямо сейчас, поддерживают Unity. Сегодня Unity Engine является де-факто стандартом для AR-очков. Это определенно имело для нас наибольший смысл, поэтому мы выбрали Unity.

Манфред: Магазин Unity Asset Store был еще одним дополнительным преимуществом. Плагины карт от Infinity Code были огромной помощью в разработке навигационных функций. У нас были дизайнеры, работающие над прототипом, который бы импортировал ресурсы из Blender, а затем мы интегрировали их в редактор Unity и развернули их через наши устройства Android. Из всего, что связано с записью маршрутов на наших автомобилях и симуляцией, Unity был очень настраиваемым инструментом, который сильно нам помог.

Вольфганг: Мы знаем, что часто технические исследовательские проекты трудно донести или объяснить непрофессионалам, а иногда и лицам, принимающим решения. Мы всегда стараемся реализовать сценарии использования и отличные визуализации, чтобы передать идею и видение конечного продукта клиента. Unity был отличной помощью в абстрагировании от всех низкоуровневых проблем отображения визуализаций в желаемом виде. Это сделало наше общее видение гораздо более понятным и действительно увлекло людей. Это позволило им увидеть, насколько крутыми и погружающими могут быть AR-очки в автомобилях в будущем.

Хотите узнать больше об этом захватывающем проекте? Посмотрите нашу глубокую сессию с BMW на Unite 2024 в Барселоне.

Изучите возможности Unity для автомобилестроения, или свяжитесь с нами для получения дополнительной информации.