您想找什么?
Hero background image
什么是AR、VR、MR、XR和360度视频?
几年前,虚拟现实(VR)开始进入主流话题,该行业发展迅速。掌握这些术语和缩写可能会令人生畏。为了帮助您及时了解相关信息,我们创建了一个术语表,涵盖从 AR 到 XR 的各种沉浸式技术。
360 全景视频

定义:

360 视频通常被称为 "球形视频 "或 "沉浸式视频",是同时记录多个方向视角的视频记录。拍摄时通常使用一台专业的全向摄像机,或一组安装成球形阵列的独立连接摄像机。360 视频可以是实景(不使用动画的电影或视频拍摄)、动画(从三维场景中捕捉),也可以是计算机生成图形和实景的混合。360 视频通过3D 游戏引擎等技术准备好播放后,用户就可以戴上耳机观看。

360 视频可以是非交互式的,也可以是交互式的。非交互式 360 视频是一种体验,在这种体验中,观众除了暂停视频或移动头部以欣赏不同的 "摄像机角度 "之外,无法影响观看体验。交互式 360 视频是指观众可以通过注视或控制器与用户界面或其他可交互元素进行交互的体验。

机会:

360 视频为创作者提供了与各行各业合作的机会,他们现在都希望以营销或娱乐的形式提供内容。虽然 360 视频的部分制作有别于数字资产的构建,但其后期制作流程与游戏和其他数字 MR 内容的制作相对类似。

立体混响声音频

定义:

这种环绕声技术涵盖了用户下方和上方的声源。官方称其为 "全球面 "技术,也可用于水平面的音源。Ambisonics 以多通道格式存储。环境声学不是将每个声道映射到特定的扬声器上,而是以一种更普遍的方式来表现声场。然后,声场可以根据听者的方向进行旋转,例如在 XR 中用户头部的旋转。声场还可以解码成与扬声器设置相匹配的格式。Ambisonics 通常与 360 度视频搭配使用,作为远处环境声音的音频天空盒。

机会:

虽然环绕声音频可能意味着更多的开支--包括内存和制作预算--但它能为你的 VR 体验带来完全身临其境的音效。与以往的显示方式相比,音频设计和制作对于 VR 来说更加重要,"3D 音效 "将使大多数虚拟现实体验更加令人信服和身临其境。

抗锯齿

定义:

从最基本的层面来说,抗锯齿是一种平滑三维资产边缘锯齿线的技术。这种方法是用边缘周围像素的颜色来平滑边缘的颜色。抗锯齿在虚拟现实中尤为重要,锯齿状的边缘会破坏沉浸感和临场感。

机会:

抗锯齿技术为提高 3D 虚拟内容的视觉保真度提供了一种直接而行之有效的方法。Unity 等 3D 引擎允许开发人员使用前向渲染技术,在许多情况下启用多采样抗锯齿。虽然延迟渲染不允许多采样抗锯齿,但在这种情况下,开发人员可以选择将抗锯齿作为后期特效应用。

API(应用程序编程接口)

定义:

API 或 "应用编程接口 "是软件开发中的一个常见概念,在整个 VR 和 AR 内容开发中都能找到。从本质上讲,它是一种标准化接口,可让软件与操作系统连接并使用其资源。VR 或 AR 体验的用户看不到应用程序接口。

机会:

操作系统资源和潜能的发现及利用变得更简单、更标准化、更高效。

ARCore

定义:

纯软件 AR 解决方案,适用于所有运行 Android Nougat 或任何后续版本操作系统的 Android 手机。它将以类似于 ARKit 为 iOS 提供的方式,实现大规模的移动 AR 体验。事实上,SDK 本身就具有与 ARKit 类似的功能。谷歌目前还不确定 ARCore 是否会安装在安卓系统中,还是会成为一个独立的产品。他们已经确认,它不会成为 Daydream 品牌的一部分。

机会:

如果 ARCore 能像谷歌希望的那样取得成功,那么它将为广大受众提供一个易于使用的 AR 平台。当然,这意味着您的 AR 内容将拥有大量受众。

适用于Unity的ARCore SDK

定义:

软件开发工具包可用于开发针对安卓设备和 ARCore 的AR 应用程序

机会:

制作适用于ARCore设备的内容的简捷途径。

ARKit

定义:

这是一个允许您为 iPhone 和 iPad 创建和启动增强现实体验的框架。

机会:

面向大量iOS受众推广AR体验的有效方式。

ARKit插件

定义:

Unity 软件包可用于开发针对 iOS ARKit 的应用程序。

机会:

提升面向iOS平台的AR开发的便捷性和品质。

AR光源估算

定义:

从AR会话中捕捉的视频帧的场景照明估算信息。

机会:

AR光源估算可确保在摄入图像上渲染的虚拟对象与环境融为一体,这是营造沉浸感所必不可少的。

空间音响

定义:

一种改变音频从音源传输到周围空间的方式的功能。在 Unity 等 3D 引擎中,这种插件会根据音频监听器与音源之间的距离和角度进行计算

机会:

更加逼真的沉浸式音效体验,与VR内容的3D特性相得益彰。

空间音响SDK

定义:

本机音频插件 SDK 的扩展,可改变音频从音源传输到周围空间的方式。音频源的内置平移是一种简单的空间音频形式--它根据音频监听器和音频源之间的距离和角度来获取音源并调节左右耳贡献的增益。这样就能在水平面上为玩家提供简单的方向提示。

机会:

此SDK是发挥空间音响功能潜力的简单、快捷、高效的方式。

增强现实(AR)

定义:

增强现实技术是将数字创建的内容叠加到现实世界之上。增强现实--或称 "AR"--允许用户与现实世界和数字元素或增强元素进行交互。用户可以通过头戴式设备(如微软的 HoloLens)或智能手机的摄像头使用 AR。

在实际应用和实验中,增强现实技术还可以取代或削弱用户对现实的感知。这种改变了的感知可能包括为医疗培训目的而模拟眼部状况,或为引入游戏世界而逐渐阻碍现实。值得注意的是,增强现实技术和虚拟现实技术有可能出现融合或重叠。另请参阅本术语表中的 "混合现实"。

机会:

虽然消费者的兴趣、投资活动和行业炒作最初都集中在虚拟现实领域,但由于增强现实技术不需要专用硬件,它正变得越来越突出。AR 不完全限制用户的视线,提供了无障碍的使用环境,同时还具有不受限制使用的巨大潜力,因此越来越受欢迎。Pokémon GO》的巨大成功以及 AR 作为一种工具在工业和创意工作场所的迅速普及都表明,AR 有机会 在大量受众中取得巨大成功。如需进一步了解增强现实技术带来的机遇,请查看 Unity 博客中探讨增强现实技术未来的第一部分第二部分

增强虚拟

简单定义:

在混合现实技术中,增强虚拟技术介于 AR 和 VR 之间。准确的定义是指将现实世界中的物体带入虚拟世界,并与之进行交互。它可以被视为增强现实技术的反面或镜像。

增强虚拟性也许最好被理解为 MR 的一个具体例子或实现方式。使用 "增强虚拟性 "并不准确,因此应将 "增强虚拟性 "视为灵活的术语。

机会:

从UI角度来看,增强虚拟是一种让VR空间变得更直观,同时对新用户而言更熟悉和“易用”的方式。

VR 电影

定义:

VR 为电影制作人和观众提供了巨大的潜力,提供了一种全新的方式来讲述故事,利用 VR 的所有沉浸式潜力,并发挥临场感的力量。电影式 VR 有许多独特的例子,从观众可以参与的线性叙事到带有游戏元素的分支故事和 "电影"。虽然对这一术语有不同的解释,但电影虚拟现实基本上涵盖了虚拟现实内容挪用或采用电影制作方法来提供叙事体验的多种方法

机会:

如果您是电影制片人,那么正在进行一场创意革命。如果您是观众,那么电影将变得更加丰富多彩,更加令人兴奋。如果您为 VR 制作游戏等内容,Cinematic VR 可能会为您打开一扇门,让您展翅高飞,为新的行业创作。

CPU(计算机处理单元)

定义:

计算机处理单元是现代计算机的核心部件。中央处理器的工作是执行计算机程序提供的指令。如今,CPU 通常都是微处理器,因此由单个集成电路组成。

机会:

利用游戏引擎的剖析器,开发人员可以了解 CPU 的渲染需求。了解这些数据后,您就可以优化 VR 内容的各个区域,确保用户获得更好、更舒适的体验。

网络病(又名虚拟现实病或模拟病)

定义:

当人们在物理空间中移动时,大脑会认为他们是静止的,因为他们的身体没有产生动力。与此相反,网络病发生时,主体是静止的,但由于暴露在不断变化的视觉图像中,会产生一种强烈的运动感。(Arns 和 Cerney,2005 年)

但是,晕屏症的感受与晕动症体验类似。

导致晕车的因素并不单一。例如,视觉显示的滞后、刷新率和更新率等因素都可能导致不适。其他可能影响病态的因素包括对比度、分辨率、颜色、视野、观察区域、双眼观察、场景内容、闪烁和摄像机移动。

在目前这一代 VR 的早期,模拟病被认为是比较常见的现象,它继续让许多用户对 VR 产生负面联想。现在,人们普遍认为,预防网络病的责任主要在于内容而非硬件。许多人认为,用户通过使用网络病会产生耐受性。关于这种体验,特别是它对年轻用户的影响,还有很多东西有待了解。

机会:

这无论是对单个项目,还是对虚拟现实的整体声誉和潜力,都是一个巨大的挑战。引发网络病的 VR 内容会严重限制 VR 的应用,并损害 VR 的声誉。亲自进行调查。还有大量的测试。幸运的是,网络疾病方面的最佳做法现在已为业界所共享。

Direct3D变换管线

定义:

Direct3D 转换管道是 Microsoft Windows Direct3D 图形应用程序接口专用的图形转换管道。该图形变换管道的实现使用了三个 Direct 3D 矩阵:世界变换、视图变换和投影变换。Direct3D 矩阵的工作原理与高级图形转换管道中的矩阵类似。

机会:

图形变换管线可为使用Direct3D的用户量身定制。

视线追踪

定义:

头戴式显示器内的摄像头可以追踪用户的视线方向。眼动跟踪可作为一种新的输入轴,例如,在斗狗游戏中用于瞄准敌机。例如,FOVE 是在 Kickstarter 上推出的一款 HMD,有望实现眼球跟踪功能和视觉渲染 SDK。

虽然眼动追踪并不是有凹凸渲染的先决条件,但它能根据用户的眼动方向移动高精细区域,从而显著改善渲染效果。此外,新用户往往难以克服用眼睛四处张望的自然倾向。问题是,HMD 光学系统的最佳工作原理往往是通过光学系统直视屏幕中心,理想情况下用户会移动头部环顾四周。眼球追踪技术是让用户在 VR 中使用眼睛进行自然追踪的第一步。

机会:

一种提供更舒适、更直观、更具有沉浸感的VR内容的方式。

面部跟踪

定义:

计算机视觉技术旨在通过实时跟踪特定面部特征,获取静止图像和视频序列中的数据。

机会:

更加逼真和自然的游戏角色和交互,增强了叙事能力、沉浸感和临场感,同时可提供更具创新的交互机制。

目标视场

定义:

“目标视场”与视野有关,它覆盖用户在移动眼睛、头部和颈部等时可以从给定位置看到的空间。

机会:

和视野一样,目标视场也是特定VR、AR或MR体验在摄影和取景时所使用的观看者视角。

视野(FOV)

定义:

视场是指直视前方时所能看到的一切。视场角是指你在现实和 MX 内容中的自然视力范围。人类的平均视野约为 200 度。

在研究虚拟现实头盔(也称为头戴式显示器或 HMD)时,你会发现有一个视场规范。目前大多数 VR 头显的最小视场角为 90-110 度,这是获得出色 VR 体验的基准。视场角越大,用户看到的环境就越多,因为环境会延伸到他们的视线边缘,因此,他们会有更身临其境的体验。类似于 IMAX 电影院银幕和普通电影院银幕的区别。IMAX 银幕要大得多,因此会占据你更多的视野,让你看到更多,从而创造出一种更加身临其境的体验。

宽视场很难实现,因为镜头光学的限制--色差和桶形畸变--变得更加严重,而且光学本身必须更大或更复杂。与使用鱼眼镜头拍摄的照片一样,HMD 屏幕上的图像也会因 HMD 的光学原理而失真。此外,扩大视场会 "拉伸 "可用的屏幕分辨率,这意味着必须提高分辨率才能在更高的视场角下保持相同的像素密度--使用多分辨率 VR 阴影和有焦点渲染可以减轻潜在的影响。

值得注意的是,有些头显(如 HoloLens)的视野也很有限。我们可以把智能手机 AR 体验的视场角理解为可用的屏幕尺寸,尽管这并不是一个严格的技术定义。

在极少数情况下,视野被称作“视场”。另请参阅:目标视场

机会:

如果您是 HMD 制造商,那么视场角问题就需要考虑很多。对于内容创作者来说,硬件视场角的限制实际上设定了 VR 或 AR 视觉的 "画布",因此它是一个重要的因素,尤其是对于多格式版本来说。

注视点渲染

定义:

高级VR渲染引擎通过弥补人体生物学的不足,能够将更多的时间用在视野中心上,同时减少视野周边区域细节的渲染。

如果计算机允许自己以较低分辨率或简化对象进行渲染,就能更快地渲染整个场景。由于人眼能感知到视野中心更多的细节,因此每一帧画面中都有很多我们根本看不到的细节。通过在画面边缘进行低质量渲染,计算机可以花更多时间渲染中心的细节,或者更快地渲染单帧画面。

机会:

蜂窝状渲染可大大降低速度。同样,它也为 GPU 提供了更大的内存空间,可以更自由地在 VR 中实现自己的想法,而不必受限于以最高分辨率渲染整个场景的要求。

帧率(FPS)

定义:

“帧率”或FPS指屏幕图像每秒刷新的次数。

机会:

每秒帧数越高,运动就越流畅,VR 体验就越舒适。这一点对虚拟现实极为重要,因为缓慢或不稳定的运动通常会引发模拟病。为了让用户在体验 VR 时感到舒适,他们应该确保购买的 VR 头显在桌面或游戏机 VR 上至少能达到 90 FPS,在移动设备上至少能达到 60 FPS。目前市场上的大多数虚拟现实头盔都能达到每秒 60-120 帧的速度。这也被称为屏幕刷新率,有时以赫兹为单位,例如 90 赫兹。

视椎体剔除

定义:

近剪辑平面和远剪辑平面属性决定了场景中摄像机视角的起点和终点。这些平面垂直于摄像机的方向,并从摄像机的位置开始测量。近平面是要渲染的最近的位置,远平面是最远的位置。近景和远景剪辑平面--连同摄像机视场所定义的平面--描述了俗称的摄像机挫面。剔除区域包括不显示完全位于该区域之外的对象。在 Unity 等 3D 引擎中,无论您是否在游戏中使用闭塞剔除,都会进行挫边剔除。

机会:

视锥体剔除可显著提高虚拟现实的性能,帮助提供更加舒适、更加令人难忘和身临其境的体验。

注视追踪(又称”视线追踪“)

定义:

跟踪用户眼睛的方向和移动,有时将跟踪到的数据用作输入。另请参阅:头部追踪

机会:

一种允许用户进行非常微妙、细致的控制和输入的方法,以及一种获取用户如何与特定体验进行交互的数据的方法。目光跟踪还为无障碍环境提供了一个强大的工具,为身体活动受限等用户提供了互动手段。

图形变换管线

定义:

图形转换流水线是一种成熟的方法,可将图形软件、游戏引擎等创建的对象传送到场景中的预定空间,并最终传送到用户视图中。图形转换管道在 VR 和 AR 中的有效工作方式与在更传统的 3D 显示方法中的工作方式相同。

机会:

这是一种可靠、成熟的方法,可确保您的对象按照预期出现在 VR 或 AR 场景中。图形转换流水线和相关矩阵通常由 Unity 等 3D 游戏引擎提供,这意味着您无需过多担心 3D 物体在用户屏幕上的 VR 或 AR 家的旅程。

GPU(图形处理器)

定义:

图形处理单元由一个组件(指电子电路)组成,专门用于在帧缓冲区内加速生成图像。在这种情况下,创建这些图像是为了在屏幕或类似设备上显示。它们存在于个人电脑、工作站、游戏机、移动设备和许多其他地方。虚拟现实技术对 GPU 提出了相当高的要求,这主要归功于显示方式需要分别为用户的左眼和右眼创建不同的图像。

机会:

消费者需要投入相当大的资金,才能获得足够的 GPU 能力,以支持 Oculus Rift 和 HTC Vive 等高端 VR 解决方案。虽然成本会大大限制虚拟现实的潜在受众,但在虚拟现实中出现了许多优化 GPU 性能的方法,本术语表对其中许多方法进行了定义。

Haptics(又称”触觉反馈“)

定义:

触觉技术通过输入设备或特定的触觉可穿戴设备向用户施加各种力(最常见的是振动)来模拟和刺激触觉。触觉技术用于为屏幕上的物体或动作提供有形感。振动游戏控制器是一个典型的例子,但也包括通过智能手机屏幕传送的振动,以及超声波扬声器阵列等现代方法,这些方法可以将纹理投射到空气中,让 VR 用户在与内容互动时感受到纹理

机会:

提升VR的沉浸感,尤其是VR临场感的另一种方法。

头盔(又称“头戴式显示器”或“HMD”)

定义:

虚拟现实或增强现实头戴式设备通常是一个类似护目镜的装置,用户将其戴在头上,遮住或包围住眼睛。虚拟现实头盔通常包含一个屏幕和镜头,让用户可以看到虚拟世界,或者一个半透明屏幕,上面可以显示增强现实内容。许多不同的头显可服务于多种不同的硬件平台,从手机到游戏机都能输出 VR 内容。这意味着最好使用支持尽可能多不同 VR 平台的创意工具和技术

机会:

VR 头显是现代虚拟现实技术的基础,并为现在的 AR 和其他 HMD 树立了模板。在过去的 50-60 年里,技术已经取得了长足的进步,70 年代初笨重、不舒适、价格昂贵的 VR 头盔已经发展成与滑雪或滑雪板护目镜差不多大小的东西。有些 VR 头显甚至将手机用作屏幕,如 Samsung Gear VR 或 Google cardboard。在研究虚拟现实头盔时,要看屏幕是内置的,还是需要使用手机。如果您正在寻找最佳的沉浸式体验,Oculus Rift 或 HTC Vive 等高端 VR 头显值得考虑。但请记住,高端 VR 头显需要高端电脑才能运行。如果您正在寻找高质量的移动 VR 体验,三星 Gear VR 和谷歌 Daydream 可提供比纸板 VR 观赏器更细致入微的体验;后者的价格非常实惠,是展示 VR 基本简单性的绝佳方式。

头部追踪

定义:

头部追踪通过各种方法监控和跟踪给定用户的头部和颈部的位置和移动,为输入和交互提供可能。

例如,如果用户的颈部和头部略微偏向一侧,启用头部跟踪功能后,他们在 HMD 中看到的东西就会移动到相同的角度。用户同样可以伸长脖子,环顾四周或向上俯瞰某物。同一个用户可以做出 "看地板 "这样的动作来激活特定的游戏操作。

机会:

头部追踪是VR提供的一项核心功能;它使虚拟世界构建成为可能,让用户可以像与现实世界交互一样探索虚拟世界。

沉浸感

定义:

沉浸是指将用户完全带入虚拟世界。在 VR 中,"存在感 "特指你在特定体验中存在的感觉或潜意识信念,而 "沉浸感 "则是一个更笼统的术语,指完全被包裹,忘记现实。在虚拟现实中,沉浸感具有实际意义,因为用户的眼睛、耳朵,有时甚至是手和身体都会参与其中,从而屏蔽了来自现实的任何提示或感官输入。

机会:

沉浸式体验是虚拟现实和某些 AR 作品的主要优势,无论你是考虑让用户沉浸在令人信服的体验中,还是让自己沉浸在体验中。沉浸式体验是虚拟现实的魅力所在,也是吸引受众的契机。

沉浸式体验

定义:

沉浸式体验的概念早在新一代 VR 和 AR 出现之前就已存在,尽管它包括使用这些形式的体验--也可能包括所有 MR 和 XR 内容。这个词甚至被用来涵盖网站设计的特定方法和游乐园的游乐设施设计。不过,就 VR 而言,该术语指的是完全互动、微互动和非游戏体验。这些视频既可以是真正的 VR,也可以是 360 视频。这个词的含义非常广泛--就像 XR 一样--但在这里并不包括通过传统平面屏幕消费的传统数字和电影体验。

机会:

为吸引用户注意、探索新的创意形式、教育、娱乐、培训、服务、推广等其他更多方面提供新的机会。

沉浸式娱乐/超现实体验

定义:

娱乐、宣传和体验内容,将现实世界的物理性与 VR 或 AR 以及叙事写作和电影制作等其他形式相结合。

机会:

有机会为游乐园、拱廊、商场和许多其他体育场馆制作内容,从而为首次体验VR的公众提供多样化的接触方式。

惯性测量单元(IMU,又名测距仪)

定义:

IMU 或惯性测量单元是一种电子设备,可通过各种方式和技术检测运动。IMU 由加速度计、陀螺仪或罗盘组成,能以极低的延迟测量设备的绝对旋转,例如用于头部跟踪。结合光学跟踪系统,IMU 可用于确定 HMD 的视线方向。

与任何跟踪系统一样,延迟和精度是 IMU 的关键因素。一般来说,这些功能并没有在广告中标明,而且不同设备之间的差异也不大。值得注意的是,三星 GearVR 包含一个专用的 IMU,而谷歌 Cardboard 和 Daydream 则不同,它们都依赖于特定手机内置 IMU 为头显带来的功能。

机会:

将手机从横向翻转为纵向或为手机游戏提供倾斜控制的底层技术,同样被用于 VR HMD,使虚拟摄像头与用户的头部方向相匹配。这为各种创新形式的控制和沉浸式 VR 体验提供了机会。

输入

定义:

输入提供了一种与机器、计算机或其他设备交互的方式。具体到 VR 和 AR,"输入 "指的是虚拟现实和相关形式的控制方法。这很可能是指使用控制器进行运动追踪,但许多 VR、AR 和相关体验都允许用户使用鼠标和键盘或游戏手柄进行交互。

随着VR日益成熟,出现了许多替代的、价格合理的输入方式,这包括从跟踪每个手指运动的手套,到可以在VR体验中跟踪全身的身体套装。

机会:

对于设计者来说,输入提供了许多提供不同寻常的游戏机制的方法。对用户来说,它们是与数字世界互动的一种手段,让他们真正沉浸其中。与 VR 内容不相匹配的输入方式会大大割裂用户的体验,破坏这种形式的最大潜力--沉浸感。因此,三维创作者在进行输入决策时要深思熟虑。

由内而外/由外而内追踪

定义:

两个主要的桌面虚拟现实平台--HTC Vive 和 Oculus Rift--都依赖于一个摄像头或 "灯塔",放置在 HMD 本身之外的房间的固定位置。这就是由外而内跟踪的定义。与此同时,Windows 沉浸式混合现实头盔和微软 HoloLens 等设备使用一种名为视觉测距的技术来分析安装在 HMD 上的摄像头所拍摄的图像,从而跟踪 HMD 与周围环境的相对位置。与外置摄像头相比,后一种方法可以理解为提供内向外跟踪。

机会:

虽然硬件规范主要掌握在平台所有者的手中,但这两个可用选项可增加与VR及AR相关的设置数量,从而可能扩大受众面和提升体验。

瞳距(IPD)

定义:

特定用户双眼瞳孔之间的测量距离。可以将 IPD 理解为一种 "基础测量",它为虚拟现实的规模提供了基础。有些 HMD 允许对镜片的水平位移进行物理调整,以更好地匹配用户的 IPD。

机会:

虽然硬件规范主要掌握在平台所有者的手中,但这两个可用选项可增加与VR及AR相关的设置数量,从而可能扩大受众面和提升体验。

延迟

定义:

延迟是指虚拟世界对用户动作做出反应的速度。高延迟的虚拟世界可以被描述为显示延迟。简单来说,延迟越少,体验就越舒适。根据经验,延迟时间应低于 20 毫秒。毫秒数越少,体验就越好。

延迟还可以指虚拟世界为用户更新的速率。

机会:

低延迟可消除网络病,从而增强沉浸感和临场感。在更根本的层面上,它是一种让人在虚拟世界中感到舒适的手段。

就虚拟世界更新而言,尽量缩短延迟可使虚拟世界变得更逼真,获得更好的交互体验。

延迟是决定整体XR体验效果的一个重要因素。

光场技术

定义:

光场技术将各种计算成像和显示技术、硬件和图像处理解决方案结合在一起,可以捕捉图像和视频,并在捕捉后进行修改。其结果是,视频内容中的光圈和焦距可以在后期进行调整,并有可能在单个用户的个人体验中进行调整。光场技术相机由 Lytro 公司首创,其工作方式与当代数码相机基本相似。不过,它们使用的是由大约 20 万个微小透镜组成的微透镜阵列,当光线从多个角度射入相机的处理器时,这些透镜可用于捕捉无数不同的视角。相比之下,传统数码相机的图像传感器是从单一角度捕捉进入相机的光线,模仿传统胶片相机的基本原理。

大部分工作也由处理和校准软件完成。另请参阅:光场视频

机会:

光场技术可让360度视频、VR、AR和MR内容变得更细腻、更逼真和更多元化,极大地推动创新交互发展,让用户无需始终站在捕捉摄像机的原始视点,即可完成整个视频体验。

光场视频

定义:

来自伯克利和圣迭戈的学术团队利用一种独特的装置,将传统的数码单反相机和 Lytro Illum 相机(后者是一种光场相机)结合在一起,制造出了一种混合设备,可以在消费级硬件水平上实现光场视频。通常,光场技术摄像机的最大帧频仅为 3FPS,因此不适合拍摄视频。这种新方法将光场相机的所有优势都带到了视频工作中,即在视频拍摄完成后,还能重新对焦、改变视角、改变光圈等。

机会:

在后期制作流程、互动设计和创意方面,这项新兴技术为 360 和其他形式的沉浸式视频带来了巨大的潜力和灵活性。更广泛地说,光场技术提供了在 VR 和 360 视频内容中模拟现实世界中有关焦点、透视和距离的线索的方法。

低余晖显示技术

定义:

在体验中环顾四周的能力可能是 VR 提供的最基本的优势之一。然而,许多早期的虚拟现实技术都因为用户的快速移动会导致视觉模糊、产生不适感和破坏沉浸感而受到影响。低持久性显示器为解决这一问题提供了一种方法。

作为谷歌 Daydream 技术规范的一部分,智能手机显示屏的低持久性模式提供了一个重要的显著特征,将该产品从 "仅仅使用带有一些镜头的智能手机 "提升为真正的 VR HMD;尽管它具有移动平台的可访问性。三星 Gear VR 在插入 HMD 时会将显示屏切换到这种特殊模式,并可使用 Gear VR 的开发者模式手动激活。在这种模式下,从 HMD 外部观看时,设备会出现闪烁。因此,低持久性状态必须是暂时的。

机会:

此方法正在不断改进,可让用户随心所欲地移动,在您创造的世界中获得真正的临场感。

混合现实(MR)

定义:

混合现实体验是一种将用户的现实世界环境与数字创建的内容无缝融合的体验,在这种体验中,两种环境可以共存并相互影响。它通常出现在 VR 体验和装置中,可以理解为纯 VR 和纯 AR 的连续体。可与沉浸式娱乐/超现实相媲美。

作为一个营销术语,混合现实已被广泛使用,如今有许多替代定义并存,其中一些包含 AR 体验,或在 VR 和 AR 之间来回切换的体验。不过,上述定义正日益成为该术语的公认含义。

机会:

虽然混合现实技术在设计上面临许多挑战,而且在承载和支持混合现实技术的平台方面还需要取得很大进展,但通过混合现实技术为受众带来多样化体验和显示方式的机会是巨大的。这应该意味着更多的内容可以触及并服务于更广泛的人群,包括那些认为传统 VR 或 AR 与他们的能力、舒适度、品味或预算无关的人。

混合现实捕捉(又称“混合投射”)

定义:

混合现实捕捉是由 Oculus 提出并推动的一个术语和方法,它能让 VR 体验之外的人感受到 VR 内容内部的情况。根据 Oculus 的描述,这种方法可以让开发者 "创建视频和其他内容,将人们在现实世界中使用 Rift 和 Touch 的实时画面与 VR 应用程序中的游戏画面融合在一起"。

机会:

混合现实捕捉是一种颇具吸引力的VR体验分享、宣传、推广和交流方式。

运动时间延迟

定义:

运动-光子延迟是指从现实世界中发生实际运动到眼睛从 HMD 屏幕接收到反映这一变化的光子之间的时间。由于速度极快,距离很短,因此很难测量,但从延迟的角度来看,它代表了 VR 系统的总体效果。非专业用户有时会用与 "滞后 "相同的术语来描述这种现象。

机会:

高帧率可呈现流畅的运动,避免出现可能导致晕动症的频闪。然而,造成 VR 不舒适的根本原因是真实世界的运动和视觉感知之间的差异。在这种情况下,计算机渲染帧的速度可能很快,但如果跟踪数据有延迟,或者帧需要编码和流式传输,那么运动到光子的高延迟仍会导致晕动症。目前,这个问题使得使用云渲染技术进行 VR 难以实现。

运动跟踪

定义:

运动追踪是一项跟踪和记录VR用户的移动和现实世界对象的移动的功能,可将它们作为输入进行读取,并在虚拟现实中实时重现这些移动。

机会:

运动追踪技术可以让 VR 用户在环境中移动,就像在现实中一样。在虚拟世界中,当你凑近去看某样东西时,你会像在现实生活中一样靠近那个物体。运动跟踪是欺骗你的感官,让你以为自己正在参与虚拟环境所需的最重要组件之一。同样,它现在也为内容创作者提供了一种在 VR 中创建和塑造 VR 内容的手段

多通道立体渲染

定义:

虚拟现实要为用户提供立体 3D 效果,就必须为每只眼睛提供不同的图像。这意味着要向 HMD 呈现两个不同的 3D 图像。然而,多通道立体渲染的性能不如单通道立体渲染,因此限制了可能场景的视觉保真度或复杂性。

机会:

对于制作游戏和其他 VR 内容工具的人来说,必须投入大量精力来启用和支持多通道立体渲染。如果你是一位 VR 消费者,多通道渲染可能是你需要如此强大的平台来使用虚拟现实 HMD 的原因。

非游戏虚拟现实/增强现实

定义:

包括所有非游戏内容的虚拟现实体验,如教育应用程序、医疗培训软件、建筑可视化、军事模拟、宣传装置、游乐园游乐设施、零售用途和创意工具。这些类型的体验开始在当今制作的 VR 内容中占据相当大的比重。

机会:

好消息拥抱虚拟现实的行业和部门越多,虚拟现实的生态系统就越能发展壮大。这意味着更多的工具、更多的投资和更多的人才--无论你是 VR 创造者还是消费者,这都是梦幻般的。

OpenGL变换管线

定义:

OpenGL 转换是在 OpenGL 管道中进行的,其基本流程与一般图形转换管道相同,特别是针对跨语言、跨平台图形应用程序接口。OpenGL 矩阵的使用方式与 Direct3D 转换管道的定制矩阵类似。

机会:

图形变换管线专为熟悉OpenGL API的用户量身打造。

OpenVR SDK/API

定义:

由 Valve 创建的 SDK 和 API,专门用于支持 SteamVR/HTC Vive 和类似 VR 头显的开发。相比之下,OpenXR 计划是一个范围更广的工作组,旨在建立通用标准,以支持 VR 和 AR 内容、工具和硬件的创建和分发。

机会:

通过此SDK/API,可创作出在当前最多产和最受欢迎的最新一代VR平台之一发布的内容。

OpenXR

定义:

该倡议旨在为 VR 和 AR 应用程序和设备创建一个开放标准,并消除行业内的各自为政现象。另请参阅:OpenVR SDK/API.

机会:

一种更强大、更可靠、更先进的VR和AR内容创作生态系统。

全景2D/3D视频

定义:

与新兴的 VR 和 AR 领域的许多术语一样,全景 2D 和 3D 视频涵盖的范围相对较广。它们通常是指完全环绕用户的视频内容,无论是360度环绕,还是整个球体。从广义上讲,该术语既包括在虚拟现实 HMD 环境中观看的 360 视频,也包括在游乐园等场所的屏幕装置。如今,大多数 360 视频直播内容都是 2D 图像,不过,只要有合适的设备和预算,真正的立体全景 3D 视频是完全可能实现的。

机会:

除了 360 视频带来的机遇外,全景视频还为其他内容创作者--游戏开发者和营销人员--提供了一种降低场景复杂性的方法,即以视频作为预渲染背景,代替真实几何体。Unity 等 3D 引擎为此类视频内容提供内置支持。

位置追踪

定义:

位置跟踪是一种实时记录用户移动和物体移动的能力。这意味着用户可以在现实中四处走动,并在特定的虚拟世界中以交互方式再现这些动作。

虽然“位置追踪”这个术语涉及的方面和“头部追踪”及“注视追踪”定义的类似,但它涵盖HMD、控制器、道具和其他现实世界对象,包括那些在真正的混合现实体验中可以看到的对象。

机会:

在基础层面上,位置跟踪的相对精细程度会影响虚拟现实体验的说服力和沉浸感。除此之外,可定位跟踪的物体和输入类型的潜力不断扩大,大大拓宽了虚拟现实所能提供的体验范围。

用于VR的后期处理特效(即“后期处理栈”)

定义:

VR 后期特效可在创建场景后应用各种视觉特效。后期处理堆栈将一整套图像特效整合到一个单一的后期处理管道中,使电影特效可以直接、高效地应用,并以正确的顺序一次通过。

机会:

类似后处理堆栈中所看到的方法提供了一种简单、相对快速的装饰VR世界的方式,使其更加细腻,最终使其变得更加逼真。

临场感(即“存在感”)

定义:

一种身临其境的感觉,无论是在现实中还是在虚拟现实中。在现实生活中,当下的人可能具有特别的意识和社会互动性。在 VR 中,这个词适用于相信自己确实占据了虚拟世界的体验。可以说,当我们忘记现实世界的存在,并认为虚构就是现实时,我们也可以被理解为 "存在 "于一本书或一部电影中。VR 带来的临场感几乎是任何其他媒介或形式都无法比拟的。

机会:

临场感可以说是 VR 的立身之本,也是实现玩家沉浸感的重要工具。增强临场感来自于制作高质量 VR 的多种技术,但最重要的规则或许是 "任何提醒用户他们是在 VR 体验中,而不是在现实中的东西,都会抵消临场感"。这就意味着,一个不协调的菜单或片刻的滞后都可能在瞬间破坏临场感。

渲染循环(又称“渲染管线”)

定义:

渲染循环提供了一个逻辑架构,它决定了渲染帧是如何构成的。例如,一个典型的渲染循环可以采用以下结构和顺序:

剔除 > 阴影 > 不透明 > 透明 > 后期处理 > 呈现

渲染循环由3D引擎完成场景创建的一系列步骤组成,而图形变换管线是由将对象从其自己的空间变换到是实体屏幕空间的一系列步骤组成。

机会:

对于 VR,必须为每只眼睛渲染两个不同的图像。虽然运行两个渲染循环是可行的,但对 CPU 和 GPU 资源的要求极高。然而,Unity 的单通道立体渲染(Single-Pass Stereo Rendering)等技术的发展使得支持 VR 内容的渲染循环更加高效,从而将 GPU 和 CPU 解放出来用于其他任务。

渲染目标(包括“渲染目标阵列”)

定义:

呈现目标是一个内存缓冲区,它可以有效地作为绘制对象的位置,让对象出现在最终用户的耳机中。渲染目标数组允许同时向多个渲染目标输出。

机会:

渲染目标是游戏和相关开发的既定惯例,是一种非常有用的屏幕外对象渲染功能。

渲染纹理

定义:

渲染纹理是在运行时创建和更新的独特纹理类型。您可以先创建一个新的渲染纹理,然后再指定其中一台相机进行渲染。

机会:

渲染纹理可以用于游戏引擎中的材质,从而利用运行时的优势。

场景图

定义:

场景图是一种专门的数据结构,用于组织渲染场景所需的信息。场景图由渲染器使用和理解。场景图既可以指整个场景,也可以指视图可见的部分。在后一种情况下,使用的术语是 "剔除场景图"。

机会:

井然有序的VR世界高效而且可靠,通过高效定位和缩放场景中的对象,将占用的系统计算资源降到最低。

屏幕分辨率

定义:

屏幕分辨率指屏幕上显示的像素数。就像电脑显示器或电视一样,像素越多,图像质量就越清晰逼真。然而,就 VR 头显的屏幕分辨率而言,由于图像离眼睛只有几英寸远,因此需要更高的屏幕分辨率,这样用户才不会感觉到单个像素之间的间隙。此外,在 VR 头戴式设备中,屏幕被分成两半,以便向每只眼睛准确显示一个图像。

机会:

作为开发者或消费者,在寻找中高档 VR 头显时,应注意屏幕分辨率至少为 2160 x 1200(或每只眼睛 1080 x 1200)。如果再低一些,您可能会注意到所谓的 "纱门效应",感觉就像透过纱门在看;换句话说,您可以看到屏幕上的小黑点或线条。

单通道立体声渲染

定义:

单通道立体声渲染功能将两只眼睛的图像同时渲染到一种填充的渲染纹理中,也就是说整个场景只渲染一次,从而大大缩短CPU处理时间。

在启用单通道立体渲染或立体实例化后,Unity 等 3D 引擎会在双眼之间共享剔除数据(即根据摄像机是否能看到某个 3D 物体来决定是否对其进行渲染)和阴影数据。因此,对于每个可见对象,我们只需渲染一次,这样就能大大提高速度,同时还能提供稳定的性能

单通道渲染和立体实例化的区别在于,后者的性能更高,但需要硬件支持。如果没有这项功能,3D 引擎会对场景进行两次渲染:首先渲染左眼图像,然后再渲染右眼图像。

从Unity 2017.3开始,支持的所有平台都具有单声道立体声和单通道实例化功能(如可用)。

机会:

随着传统渲染循环对CPU处理时间的要求降低,您可以将更多的时间投入到VR项目的其他方面。

六自由度(6DOF)

定义:

提供六个自由度的系统可在三维空间内跟踪物体的位置和旋转。三个定位轴加上三个旋转轴共有六个 "度",可以自由控制。

机会:

3DOF 旋转跟踪与完全 6DOF 跟踪之间存在很大差异。例如,最初的 Wii 控制器只能追踪旋转,这迫使游戏开发者使用控制 "隐喻 "来表示投球或挥动网球拍等动作。另一方面,HTC Vive 和 Oculus Touch 控制器可以在空间中精确控制,让用户感觉到自己的手在哪里,提供更多细微差别,实现临场感。

SLAM(同步定位与地图构建)

定义:

同步定位和制图是指在空间中追踪一个代理(可能是一辆汽车)的同时,由在该空间中移动的代理生成和更新地图的过程。目前有许多不同的方法,该技术正在成为自动驾驶汽车、家用机器人和 AR 应用的关键。

机会:

SLAM技术及其支持算法的出现可能对AR的发展产生重大影响,并将成为多种实际应用以及游戏和其他娱乐形式的实现手段。

空间音频(即“3D音频”)

定义:

空间音频提供了一种建立和放置音频资产的方法,以便从虚拟现实用户的角度来看,特定的声音来自三维场景中的特定位置。这就像家庭影院或电影院中的环绕声,对虚拟现实的临场感和沉浸感非常重要。

机会:

声音是创造身临其境的 VR 体验的重要组成部分之一。空间声音可以让你听到周围的声音,还能在你移动头部时跟踪声音,就像在现实生活中一样。这意味着 VR 开发人员除了可以提供更逼真的效果外,还可以利用声音来引导玩家,以及使用 VR 特有的创新机制。

立体成像

定义:

通过摄影或其他图像手段再现双眼视觉效果。换句话说,就是再现人类用双眼观察真实世界所获得的体验。典型的立体方法是为同一场景提供两幅不同的图像:一幅供用户左眼观看,一幅供用户右眼观看。例如,这可以通过 HMD 的左右镜头实现。然后,用户的大脑会将这两幅图像结合起来,构建一个具有深度和透视效果的三维场景,就像我们的左右眼所看到的一样,以及这些图像在现实中是如何合成的。

机会:

VR内容更具沉浸感和临场感,与传统平面显示器所显示的内容截然不同。

立体实例化

定义:

由单通道渲染演变而来,是最新的几种渲染优化方法之一,旨在帮助开发者在无法降低帧率预算(传统游戏开发同样受限于此)的情况下确保获得较为流畅的VR体验。

机会:

开发者可通过此方法缩短CPU处理时间,以便腾出资源用于其他方面。

跟踪姿态驱动程序

定义:

内置的跨平台驱动程序组件,通过将真实设备或对象的位置和旋转与其姿势(对应虚拟对象的位置)相匹配,简化了对玩家移动和外设的跟踪设置。

机会:

对于创作者来说,提供令人信服、逼真和反应灵敏的跟踪要求要低得多。对于玩家来说,沉浸感和临场感得到了极大的支持。

追踪

定义:

跟踪对于完全身临其境的 VR 体验至关重要。从本质上讲,这种方法通过跟踪 VR HMD(或专用控制器等外围设备)的位置,告诉计算机用户在看哪里以及在做什么,从而准确、恰当地绘制出用户周围的虚拟世界。跟踪越精确,VR 体验就越舒适。另请参阅:运动跟踪、位置跟踪和注视跟踪。

机会:

创新的游戏控制方式,再一次增强了游戏的沉浸感和临场感。质量跟踪还为网络病提供了一种对策。

恐怖谷理论

定义:

不可思议谷 "最初是由机器人学教授森雅弘(Masahiro Mori)在 20 世纪 70 年代提出的,它描述了人类如何与具有人类或类似人类形态的物理或数字对象建立联系的一种现象。物体越像人,真正的人就越会对该物体产生积极、投入的反应。然而,当一个物体看起来几乎像一个逼真的人,但又不完全像的时候,观众的积极反应就会下降。从简单的折线图上看,这种下降就是同名的 "谷",当我们觉得机器人或电脑动画人物令人毛骨悚然或不安时,就会感觉到这种下降,因为它看起来几乎是真实的,但并不令人信服。

很多情况下,接近真实的实体或数字人类形态可能比几乎以假乱真的形态更具吸引力。

机会:

VR 和其他 MX 形式中的 "不可思议谷 "效应会严重破坏沉浸感和临场感。因此,内容创作者往往选择设计低保真的人类角色,而不是追求逼真的高保真角色,以避免引起观众的负面反应。

前庭系统

定义:

内耳中的一个耳道网络,可有效充当运动探测器,让我们保持平衡并了解自己的运动。视觉系统和前庭系统的冲突--或称 "前庭不匹配"--是我们感到晕网和晕车的核心原因。

机会:

前庭系统对于我们如何解读 VR、AR 和 MR 内容至关重要,也是其成功或失败的原因所在,因此,对前庭系统的基本了解将帮助您制作出更好的内容,为用户带来更有说服力的沉浸式体验。

虚拟现实

定义:

随着虚拟现实技术的发展和在不同领域的不同应用,出现了几种不同的定义,其中大部分相互重叠。存在差异。然而,以下要素几乎可以概括 VR 所提供的一切:

  • 计算机生成的立体视觉效果完全环绕在用户周围,完全取代了用户周围的真实世界环境。许多人认为,这一定义正确地将 360 视频排除在真正的 VR 之外。
  • 从以观众为中心的角度使用和体验内容。
  • 用户可以在虚拟环境中进行实时互动,无论是通过详细的互动,还是仅仅在体验中环顾四周。这里的实时性指的是在特定的时间间隔内做出响应,这是与应用或领域相关的。

机会:

通过使用 VR 头显和耳机,让视觉和听觉这两种最重要的感官参与进来,就能实现高度的 VR 沉浸感。VR 头显将虚拟世界或体验几乎包裹到你自然视野的边缘。当你环顾四周时,你所体验到的环境与你在现实生活中环顾四周时是一样的。耳机通过阻隔周围的噪音来放大体验,同时还可以

您可以听到 VR 体验中的声音。当你移动头部时,VR 环境中的声音会在你周围移动,就像在现实生活中一样。

Unity 等 3D 引擎使创建和交付高度精良的 VR 内容成为可能。这些解决方案使创建虚拟现实体验变得更加容易,这意味着这种显示方法正变得越来越普遍。这意味着我们有机会掌握 VR 内容创作,吸引越来越多的受众。

虚拟现实/增强现实编程

定义:

为 VR 和 AR 编程与为其他显示方式和更传统类型的内容编程类似。C++ 和 C# 是 AR 和 VR 特别流行的编程形式,反映了既有的开发工具如何适应 VR 和 AR 的到来,同时又保持既有的编码惯例。

机会:

您或团队可随时利用现有的编程技能开发VR和AR。

体积视频

定义:

即使是最漂亮的 3D 360 视频,其局限性也在于如何让用户在世界中自由移动。迄今为止,大多数 360 视频都限制用户采用和跟随摄像机拍摄视频时的原始位置。体积视频通过捕捉被拍摄空间的体积数据和每一帧的数据来解决这一限制。然后,就可以利用这些数据将场景以渲染图形场景的方式呈现出来,这意味着用户可以在视频中四处走动。

机会:

可在其中移动的实时立体 360 视频内容。这可能会让一些对未来虚拟现实技术的大胆预测成为现实。

VR安装

定义:

VR 装置是特定地点或场所的虚拟现实体验。它们可以是一次性创作(如艺术装置),也可以在多个地点复制(如游乐园)。它们通常被用作营销实体。例如,在动漫展上宣传一部电影,或在音乐节上宣传一个品牌。在这种情况下,往往需要精心制作的布景和物理效果,如产生的风或移动的地板。零售商还可以在现场安装临时或永久性的 VR 装置,例如,让消费者测试展厅中没有的新车的体验。

机会:

虚拟现实装置为消费者提供了一个无需投资任何设备即可体验高端虚拟现实的机会。随着越来越多的品牌希望将 VR 用作营销工具,它们也为创作者提供了独特的机会。

WebAR

定义:

这是一个开放标准,可让用户在浏览器中体验 AR,而无需下载应用程序。与 WebVR 类似。

机会:

WebAR 对移动设备尤为重要,网站可以通过智能手机浏览器提供 AR 体验,开发人员也可以提供简单的 Web 应用程序,提供 AR 内容。这将使 AR 内容的创建和用户的访问都极大地民主化。它还可以为 AR 开发人员提供便利的测试能力。

WebVR

定义:

一种开放式标准,提供通过浏览器体验VR的方式,而不必首先下载专门的应用程序。

机会:

VR 只需使用头戴式设备和网络浏览器,而无需引入高端计算硬件的成本。这将使 VR 更易于使用,并为内容创作者带来更多潜在受众。与 WebAR 一样,这种方法在某些情况下可以为开发人员提供方便的测试选择。

XR

定义:

以技术为媒介的体验,将虚拟与现实世界的环境和现实结合起来。在这里,"X "可以看作是 V(R)、A(R) 或 M(R)的占位符,尽管它也代表未定义或可变的质量/数量。XR 涵盖使虚拟现实、混合现实、增强现实、电影现实和其他现实成为现实的硬件、软件、方法和体验。大多数 XR 的定义都包含用户可以将数字对象带入现实的平台和内容,或者反过来,用户可以在数字场景中看到实体对象。

XR体验包括用户通过在实体世界中引入数字对象而产生新的现实形式的体验,还包括在数字世界中加入实体对象的体验。

一般意义上,XR是一个概括性的术语,在非正式场合还经常用作VR、AR和MR等技术的缩略统称。

机会:

创作者必须全面探索和理解XR,而不是专注于特定的环境,才能灵活应对新出现的XR类型并紧跟其发展步伐,避免因固守一种形式而停止不前。