展示由 Varjo 和 Volvo 共同打造的全球首个逼真混合现实演示

了解用 Unity 制作的一个雄心勃勃的汽车项目的幕后故事，该项目由以 VR 中卓越的视觉质量而闻名的工业 VR/XR 头显制造商 Varjo 制作。

Varjo团队是混合现实世界中一些最具创新性项目的幕后推手。他们之前与我们分享了他们在 VR 中创建的基于摄影测量的环境，今天他们将与我们分享他们如何与 Unity 和 Volvo 一起，在一个将现实世界和虚拟世界前所未有地结合在一起的演示中取得了新的突破。

在"团结哥本哈根"（Unite Copenhagen）亲自了解这个项目的第一手资料。Volvo 和 Varjo 将在现场展示这一经验，并在多个会议上发言：

• 沃尔沃如何拥抱实时 3D 并撼动汽车行业
• 使用 Varjo VR-1 和 XR-1 创建下一代 VR 和 MR 体验
• 未来交通、智能汽车和自动驾驶：迎接 Volvo 的新时代

以下内容由 Varjo 提供。

混合现实是指将虚拟内容与现实世界相融合。迄今为止，混合现实技术都是通过光学透视技术实现的，即用户通过一副眼镜看到在现实之上增强的数字对象。这对于描绘信息图表或玩游戏来说还不错，但对于现实场景来说，就没有什么价值了。光学透视设备无法在真实世界上显示黑色或不透明的内容。一切都显得朦胧而全息。

我们 Varjo 希望摆脱这种限制，能够呈现逼真、不透明的内容--在这种情况下，无法区分什么是真实的，什么是虚拟的。我们的任务是通过视频直通实现逼真的混合现实。视频直通是指使用摄像头对世界进行实时数字化，然后向用户展示真实与虚拟混合的结果。

在实现这一目标之前，我们首先需要一个能够以人眼分辨率显示真实世界的 VR 头显。正因如此，我们于 2019 年 2 月向市场发布了首款针对专业用户的人眼分辨率产品VR-1。

在圣克拉拉举行的 2019 年增强现实世界博览会上，我们展示了视频直通所能带来的神奇效果。我们首次公开展示了新款头显XR-1 开发者版，并与 Volvo 联合演示了使用 Unity 制作的演示。有了 XR-1，您可以通过极低的延迟和集成的眼动跟踪功能，以卓越的分辨率将虚拟内容与现实无缝融合。

下面是世界上第一个逼真的混合现实演示的制作过程。

本视频是通过 Varjo XR-1 开发人员版拍摄的未经修改的素材。通过 XR-1，您可以在全视场中看到逼真的虚拟内容与现实相融合。您还可以从 XR 无缝切换到完全 VR。

Varjo 于 2018 年初开始研发视频穿越混合现实头显。Varjo 与 Volvo 之间的合作也始于 2018 年春季，当时 Volvo 提出了对 XR 头显的需求，这种头显可以让他们在真正的汽车内测试未来汽车的各种元素--例如抬头显示器、新材料和信息娱乐系统的 UI，同时在真正的试车跑道上行驶。在试车跑道上驾驶汽车所需的高可读性和低延迟要求，促使 Varjo 在产品开发方面取得成功。

鉴于 Unity 在 VR-1 上的出色表现，我们自然而然地选择了 Unity 来尝试虚拟物体在混合现实中的表现。事实上，Unity 易于与 C++ 库（如我们自己的 Varjo 插件）集成和扩展，这使我们有可能扩展我们的插件以支持混合现实。通过简单地定义 VR 场景中的空背景由视频直通信号取代，我们很快就能看到真实环境中的虚拟物体。

Unity 的易用性使密切合作和快速迭代成为可能，因为我们的团队在与客户携手合作的同时，还在开发和改进直通功能。一年后，XR-1 的首次公开演示将我们的技术能力与 Volvo 卓越的模型和逼真的 Unity Technologies 图形结合起来，使其栩栩如生。

该演示展示了视频直通混合现实技术与光学透视技术的不同之处。在这个演示中，您有以下步骤：

1.体验真实的现实

您可以通过 XR-1 耳机看到周围的真实世界。通过前板上的高分辨率摄像头，以 <10ms 的延迟时间流式传输真实世界。你看到的是一个全视野、高分辨率、90Hz 帧率的世界，给人一种完全不戴任何耳机的感觉（即用自己的眼睛看到真实世界）。您可以四处走动，自由探索现实世界。

2.进入逼真的混合现实

一辆漂亮的 Volvo XC60 在你面前蓄势待发。它首先显示为一个风格化的透明蓝色线框。虚拟汽车固定在你周围房间的真实地板上，并调整好方向，使展台中的椅子与虚拟汽车的驾驶座对齐。观众可以坐在真实的椅子上，但仍能通过线框看到周围的真实环境。

汽车现在变成了实体模型，表面从透明变成不透明。虚拟汽车在现实世界的地面上投下阴影，从汽车表面看去，可以看到现实世界的景象映照在汽车的表面上。反光效果来自 HDR 立方体贴图，该贴图是在汽车的准确位置设置时拍摄的。同样的立方体贴图也用于环境照明。

这是观众第一次看到不透明的混合现实，效果令人惊叹。您仍然可以透过挡风玻璃看到现实世界和您的同事。

如何实现汽车模型由 Volvo Cars 提供给 Varjo。由于耳麦和汽车的分辨率非常高，我们需要尽可能多地进行预处理。光照是在 DCC 中烘焙到纹理上的，并在自定义着色器中进行了多重处理。烘焙纹理只处理了遮蔽问题，阴影仍然受到天空盒的影响。

来自 Volvo Cars 的 Mattias Wilkenmalm 负责资产创建，并编写了定制的汽车喷漆着色器，带来了卓越的效果。我们只是对它们进行了修改，以获得我们需要的外观和过渡。最终模型约有 700 万个多边形，约有 150 个 4K 纹理。

3.无缝切换到虚拟现实，然后再返回。

然后，观众被要求走出车外，我们来到了威尼斯。当现实转换为威尼斯的虚拟场景，汽车停在其中一条小巷里时，观众周围现实世界的最后碎片正在以一种独特的方式消失。现在，车内的倒影是威尼斯的倒影，而车的影子则落在了威尼斯的街道上。

一段时间后，我们从虚拟世界回到现实世界。现在，用户可以绕着虚拟汽车走一圈，查看所有细节和反光效果。由此可见，XR-1 提供的功能仍然可以与他人互动，只选择要虚拟化的部分。

如何实现为了使过渡在视觉上赏心悦目，Volvo 的虚拟体验和 XR 研究部负责人 Timotei Ghiurau 使用了带有 alpha 切面的世界空间 3D 噪音来引入汽车和环境。这在片段中很快就能实现，而且看起来非常酷。在时间紧迫的情况下，这是一个完美的组合。噪声函数可以从 UnityKeijiro 的资源库中获取。

为了使汽车反射平滑过渡，我们将威尼斯环境添加到一个单独的图层中，这样实时反射探针就只能渲染最小量的几何体。反射探针的渲染速度为每秒 30 帧，而场景的渲染速度要高得多。在反射探头中可以看到过渡，使场景更加身临其境。

事实上，XR-1 是首款提供从现实到混合现实再到完全 VR 再到现实的无缝切换能力的头戴式设备，这使得演示令人印象深刻。看到周围的现实消失，取而代之的是一个虚拟场景--然后又穿越回去，这真是一个黑客帝国般的时刻。

---

感谢Varjo与我们分享这篇文章。欢迎参加Unite Copenhagen展会，亲眼目睹 Varjo VR-1 和 XR-1 开发人员版。立即使用Unity Industry Collections 开始开发 XR 应用程序。