Первая в мире фотореалистичная демонстрация смешанной реальности от Varjo и Volvo

Посмотрите на амбициозный автомобильный проект, созданный с помощью Unity, от Varjo, производителя промышленных гарнитур VR/XR, известных своим превосходным качеством изображения в VR.

Команда Varjo стоит за одними из самых инновационных проектов в мире смешанной реальности. Ранее они уже рассказывали нам о среде, созданной на основе фотограмметрии в VR, а сегодня они расскажут о том, как совместно с Unity и Volvo создали демонстрацию, которая объединяет реальный и виртуальный миры, как никогда раньше.

Познакомьтесь с этим проектом лично на выставке Unite Copenhagen. Volvo и Varjo будут демонстрировать этот опыт на месте, а также выступят на нескольких сессиях:

• Как Volvo внедрила 3D в реальном времени и потрясла автомобильную промышленность
• Создание VR и MR нового поколения с помощью Varjo VR-1 и XR-1
• Мобильность будущего, умные автомобили и автономное вождение: Подготовка к новой эре в Volvo

Содержание ниже любезно предоставлено компанией Varjo.

Смешанная реальность означает смешение виртуального контента с реальным миром. До сих пор смешанная реальность реализовывалась с помощью оптических очков, когда пользователь видит цифровые объекты, дополненные поверх реальности, через пару очков. Это хорошо подходит для изображения инфографики или игр, но для реалистичных сцен это мало что дает. Оптические устройства не могут отображать черное или непрозрачное содержимое поверх реального мира. Все кажется туманным и голографическим.

Мы в Varjo хотели избавиться от этого ограничения и получить возможность визуализировать фотореалистичный, непрозрачный контент, где невозможно отличить реальное от виртуального. Наша задача состояла в том, чтобы сделать фотореалистичную смешанную реальность возможной с помощью сквозного видео. Видеопрохождение - это использование камер для оцифровки мира в реальном времени, а затем демонстрация пользователю комбинированного результата, состоящего из реального и виртуального.

Прежде чем мы сможем добиться этого, нам понадобится VR-гарнитура, способная отображать реальный мир в разрешении, близком к человеческому глазу. Именно поэтому в феврале 2019 года мы выпустили на рынок наш первый продукт с разрешением человеческого глаза VR-1, предназначенный для профессиональных пользователей.

А на выставке Augmented World Expo 2019 в Санта-Кларе мы продемонстрировали волшебство, которого можно достичь с помощью сквозного видео. Мы впервые публично продемонстрировали нашу новую гарнитуру XR-1 Developer Edition в совместной с Volvo демонстрации, сделанной с помощью Unity. С помощью XR-1 вы сможете органично соединить виртуальный контент с реальностью благодаря чрезвычайно низкой задержке и встроенному отслеживанию движения глаз в превосходном разрешении.

Вот как была создана первая в мире фотореалистичная демонстрация смешанной реальности.

Это видео - немодифицированный материал, снятый с помощью Varjo XR-1 Developer Edition. С помощью XR-1 вы сможете увидеть фотореалистичный виртуальный контент, сливающийся с реальностью в полном поле зрения. Вы также можете плавно переключаться из режима XR в режим полной VR.

Варджо начал работу над гарнитурой смешанной реальности с видеопроходом в начале 2018 года. Сотрудничество между Varjo и Volvo началось весной 2018 года, когда компания Volvo заявила о необходимости создания гарнитуры XR, которая позволила бы тестировать различные элементы будущих автомобилей - такие как дисплеи, новые материалы и пользовательский интерфейс информационно-развлекательных систем - внутри настоящего автомобиля во время движения по реальному испытательному треку. Высокие требования к читаемости и низкая задержка, необходимые для управления автомобилем на испытательном треке, подтолкнули Варджо к успеху в разработке продукта.

Учитывая то, как хорошо Unity работает в VR-1, это был естественный выбор, чтобы проверить, как виртуальные объекты будут выглядеть в смешанной реальности. Тот факт, что Unity легко интегрируется и расширяется с помощью библиотек C++, таких как наш собственный плагин Varjo, позволил нам расширить наш плагин для поддержки смешанной реальности. Просто определив пустой фон в сцене VR, который будет заменен проходящим видеосигналом, мы быстро смогли увидеть виртуальные объекты в реальном окружении.

Тесное сотрудничество и быстрые итерации стали возможны благодаря простоте использования Unity, поскольку наша команда разрабатывала и улучшала проходной проект одновременно, работая рука об руку с нашим клиентом. Год спустя первая публичная демонстрация XR-1 показала возможности нашей технологии в сочетании с превосходными моделями Volvo и фотореалистичной графикой Unity.

Демонстрация демонстрирует возможности смешанной реальности по прохождению видео, в отличие от оптического просмотра. В этой демонстрации вам предстоит выполнить следующие действия:

1. Испытайте настоящую реальность

Вы видите реальный мир вокруг себя через гарнитуру XR-1. Реальный мир передается с задержкой <10 мс через камеры высокого разрешения на передней панели. Вы видите мир в полном поле зрения и в высоком разрешении с частотой кадров 90 Гц, что создает ощущение, будто вы вообще не носите гарнитуру (т.е. видите реальный мир своими глазами). Вы можете свободно гулять и исследовать реальный мир.

2. Вводим фотореалистичную смешанную реальность

Перед вами вырастает красивый Volvo XC60. Сначала он появляется в виде стилизованного прозрачно-голубого каркаса. Виртуальный автомобиль прикреплен к реальному полу в комнате вокруг вас и ориентирован таким образом, чтобы кресло в кабине совпадало с водительским местом виртуального автомобиля. Зритель может занять место в настоящем кресле и при этом видеть реальное окружение сквозь проволочный каркас.

Теперь автомобиль превращается в твердую модель, а поверхности из прозрачных превращаются в непрозрачные. Виртуальный автомобиль отбрасывает тени на пол реального мира, и, глядя на поверхность автомобиля, можно увидеть, что реальный мир отражается в его поверхностях. Отражения получены с помощью карты кубов HDR, которая была снята во время настройки именно в том месте, где находился автомобиль. Эта же карта куба используется и для окружающего освещения.

Это первый раз, когда зритель видит непрозрачную смешанную реальность, и эффект потрясающий. Вы по-прежнему можете видеть реальный мир и своих коллег через ветровое стекло.

Как это было сделано: Модель автомобиля была предоставлена Варджо компанией Volvo. Поскольку разрешение гарнитуры и автомобиля было очень высоким, нам потребовалось провести как можно больше предварительной обработки. Освещение было запечено в DCC в текстуры и размножено в пользовательских шейдерах. Запеченные текстуры справились только с окклюзией, а на затенение по-прежнему влияет скайбокс.

Маттиас Вилкенмальм из Volvo занимался созданием активов и написал специальные шейдеры для покраски автомобилей, которые обеспечили превосходные результаты. Мы просто изменили их, чтобы получить нужный нам вид и переходы. Финальная модель насчитывает около 7 миллионов полигонов и имеет около 150 4K текстур.

3. Плавно переходите в виртуальную реальность - и обратно.

Затем зрителя просят выйти из машины, и мы переносимся в Венецию. Последние кусочки реального мира вокруг зрителя исчезают в уникальном переходе, когда реальность трансформируется в виртуальную сцену Венеции, где автомобиль припаркован в одном из переулков. Отражения в автомобиле теперь принадлежат Венеции, а тени от автомобиля - улицам Венеции.

Через некоторое время мы возвращаемся из виртуального мира в реальный. Теперь пользователь может обойти виртуальный автомобиль и рассмотреть все детали и отражения. Это говорит о том, что XR-1 позволяет взаимодействовать с другими и выбирать только те части, которые вы хотите виртуализировать.

Как это было сделано: Чтобы сделать переходы визуально приятными, Тимотей Гьюрау, руководитель отдела виртуальных впечатлений и исследований XR компании Volvo, использовал 3D-шумы мирового пространства с альфа-вырезами, чтобы приблизить автомобиль и окружающую среду. Это быстро делается во фрагменте и выглядит очень круто. Это было идеальное сочетание при работе в сжатые сроки. Функции шума можно взять из репозитория Unity's Keijiro's.

Чтобы получить плавный переход для отражения автомобиля, окружение Венеции было добавлено на отдельный слой, чтобы датчик отражения в реальном времени отрисовывал только минимальное количество геометрии. Пробник отражения рендерился со скоростью 30 кадров в секунду, в то время как сцена рендерится с гораздо большей частотой кадров. Переход, видимый в зонде отражения, значительно усиливает погружение в сцену.

Тот факт, что XR-1 - первая в своем роде гарнитура, предлагающая возможность плавного перехода от реальной реальности к смешанной, затем к полной VR и снова к реальности, делает демонстрацию очень впечатляющей. Это момент, похожий на Матрицу, когда окружающая реальность исчезает и заменяется виртуальной сценой - а затем возвращается обратно.

---

Мы благодарим Varjo за то, что он поделился с нами этим сообщением. Присоединяйтесь к нам на выставке Unite Copenhagen, чтобы увидеть Varjo VR-1 и XR-1 Developer Edition воочию. Начните разрабатывать приложения XR уже сегодня с помощью Unity Industrial Collection.