VR的复苏

复苏期(2019 至今):基于第一波产品的失败经 验教训,新技术逐步改进、产业链趋于成熟,产品体验及性价比明显提升。2019 年底随着 全球 5G 正式展开部署,VR/AR 作为 5G 核心的商业场景重新被认识及重视,行业重回升势;

同年 Qculus Quest 发售,VR 游戏《Beat Saber》全球销量超 100 万份。

2020 年,VR/AR 行业产业链各环节成熟度提升,叠加疫情推动居家需求上升,以 Facebook 发布的 Qculus Quest 2 为代表的消费级 VR 设备需求增长强劲,爆款 VR 游戏《Half-Life:Alyx》引爆行业。

2020 年 VR/AR 产业投融资活跃,金额及数量均回到 2016 年的高点水平。

生产稳定期: VR/AR 新技术的性能/效果最终能满足消费者需求时,将进入实质的普及生产阶段。

VR/AR 出货量增长显著,已进入产业化放量增长阶段。比之 2018-2020 年相对平缓的终端 出货量,随着 Facebook Quest2、微软 Hololens2 等标杆 VR/AR 终端迭代发售、电信运 营商虚拟现实终端的发展推广,以及平均售价从当前 2500/9700 元进一步下降,2021-2022 年 VR/AR 终端规模上量、显著增长。

产业链分析框架

硬件

VR 终端的硬件主要由芯片处理器、屏幕及光学器件、声学器件、存储、壳料、辅料等构成。

其中,芯片处理器、存储、光学显示器件在 VR 终端成本中占比较高,与智能手机重合度较高,许多领域的技术积累可以复用,硬件产业链相对比较成熟。

成本

VR 目前的主要的使用场景 是游戏及视频,以图像处理与显示为功能重点,因此硬件成本中:

  1. 屏幕占比 36%
  2. 光学器件占 比 6%
  3. 光学显示器合计占比约 40%
  4. 同时 VR 也需要较高的内存,存储成本占比 27%
  5. 负责计算、渲染和图像处理的 CPU、GPU 处理器占比 16%左右。

芯片

高通骁龙 XR2 成为 VR 主力芯片。

最早应用到 VR/AR 设备的芯片是高通针对手机的 SOC 方案 821、835、845,其中 835、845 均针对 VR/AR 设备作相应优化。

2018 年 5 月,高通 推出 VR 专用芯片骁龙 XR1,其性能与骁龙手机芯片660 相近。

2019 年 12 月,高通发布基 于骁龙 865 衍生的 XR2,集成了高通的 5G、AI 及 XR 技术。

2019年高通骁龙发布5G+XR芯片 XR2, 骁龙XR2 是以骁龙865为基础针对 VR/AR 设备进行改造的专用芯片平台,结合了高通 5G、 AI 及 XR 领域的最新技术,相对 XR1 其性能得到显著提升。

目前新一代 VR 一体机 Oculus Quest 2、VIVE Focus 3、Pico Neo 3 系列等均采用 XR2 平台。

软件

VR对系统的挑战: 3D化与实时性 ,是虚拟现实优化创新的重要技术方向。

正如 iOS 基于 UNIX,Android 基于 Linux,虚拟现实 OS 并非独立于现有操作系统发展 而来,在操作系统和底层软件上继承了移动端特性,是基于移动 OS 定制优化的嵌入式实时系统。

VR 技术特征

近眼显示 特征,虚拟现实 OS 有望成为首个 3D 化操作系统。 感知交互 特征,虚拟现实 OS 凸显稳态、实时、紧耦合的发展特性。

  • 近眼显示

    当前移动 OS 主要面向传统手机应用设计,用户视野较小,UI 控件和 Layout 布局方式均面向 2D,对多任务系统的执行并不迫切。

    虚拟现实 OS 可能不再有“桌面”概念,用户目之所及即为操作界面,更加强调空间思维,在 3D 图形渲染、3D 内容传输、3D 显示乃至基于 glTF 等新兴 3D 格式等方面变化甚巨。

  • 感知交互

    虚拟现实 OS 凸显稳态、实时、紧耦合的发展特性。

    • 移动系统机制

      传统移动 OS 是一个 待命式 系统,系统基于用户有意识主动操作进行响应,且各子系统相对独立。

      1. 传感与渲染子系统相互独立;
      2. 图像输入与渲染子系统相互独立;
      3. 传感器不参与渲染处理系统;
      4. 移动OS系统设计存在诸多缓存逻辑;
    • VR系统特性差异

      虚拟现实 OS 更像稳态系统,不论用户主动操作与否,从姿态到渲染保持实时稳定运行,20ms MTP 时延约束成为其中核心技术挑战,体现在如下方面。

      1. 在图形渲染方面

        VR由于复杂合成系统将带来过高渲染延迟,不同于移动 OS 用户界面 2D 图 层合成的方式,虚拟现实 OS 渲染方式存在显著差异。

      2. 在传感融合方面

        移动 OS 交互方式以触屏为主,基于这一交互技术的事件体系在虚拟现实中无法使用,此外,移动 OS系统架构中缺少高精度高频率的传感融合实现,架构的复杂性导致传感延迟较高。

      3. 在内容应用方面

        移动 OS 图形驱动均为 C++库,上层应用采用 Dalvik 虚拟机作为运行时,与实际 图形驱动较远,效率较低,且移动 OS 的事件回调机制难以满足虚拟现实应用的实时性需求。

VR主流系统

VR 设备目前主要是基于安卓定制系统。

早期的 VR 一体机基本沿袭手机端的计算芯片与操作系统,如:

  1. Oculus Go 采用高通骁龙 821 芯片;
  2. Vive Focus 采用高通骁龙 835 芯片;

操作系统则是在安卓系统的基础上进行优化及定制。

类似地,分体式 VR 包括 PC VR、PS VR 以 及华为 VR Glass、创维 V601 等超短焦手机 VR,其运行的操作系统仍以连接的主机为主, 包括微软 WMR、索尼 PS 及安卓系统。

3D开发工具

3D 开发工具的核心是生产与创作工具,逐步走向简单化、轻量化、可视化。

目前市场核心的 3D 开发引擎包括 Unity 的 U3D、Epic Games 的 Unreal Engine,以及 Frostbite Engine 寒霜引擎、起源引擎等,主要用于游戏、影视等 PGC 的内容生产。

由于 Metaverse 需要简单易用的生产工具,3D 开发工具也逐步走向简单化、轻量化、可视化, 如 Roblox 平台的开发工具 Roblox Studio,《我的世界》MC Studio 等。

目前,VR/AR 均已脱离了基于厂商原始 SDK 的简陋低效开发阶段,而步入了第三方技术支 持的高效开发新纪元。

VR 大型应用开发已得到各类图形库平台供应商的支持。

VR 开发不再拘泥于 Oculus SDK、OpenVR 等原始 SDK,而是可以通过 Unity、Unreal 等成熟图形引擎、 游戏引擎实现快速高效开发。

OpenXR:VR通用的SDK

OpenXR 是一个由 Khronos 组织联盟开发的开放式、无版权费用的 XR 行业标准规范,旨在 简化 VR/AR 软件开发,打通游戏引擎及内容底层连接,塑造具备互通性的开放生态。

OpenXR 最大的意义是,游戏开发者使用一个 API 接口就能让游戏在不同品牌的 VR/AR 中运行;硬件厂商则可利用现有 OpenXR 内容降低市场进入门槛,为消费者提供更丰富的内容体验。

以下不同硬件平台对OpenXR的支持:

  1. 微软在 HoloLens、WMR 头显均提供 OpenXR 支持;
  2. Unity 推出 OpenXR 支持预览版;
  3. Epic 宣布虚幻引擎 5 不再支持 SteamVR、Oculus 等平台,转而支持且仅支持 OpenXR 标 准;
  4. Oculus 推荐游戏引擎使用 OpenXR;
  5. 国内厂商中华为、兆芯、Pico 等也加入 OpenXR 联盟参与标准的讨论与制定工作;

内容/平台

VR 内容题材日益丰富,促进 VR 体验向消费者渗透普及。

截至 2020 年 12 月,Steam、 Oculus PC、Viveport、SideQuest、Pico、Oculus Quest 平台的 VR 应用总数分别达到 5554、 1755、2513、931、578、235 款。

截至 2020 年 9 月,Facebook Quest 平台内容收入已达 到 1.5 亿美元,35 款游戏收入达到百万美元,沉浸声、手势识别与虚拟化身等特色内容制作 SDK 陆续发布。

随着 VR 内容的丰富、设备体验的升级以及售价的不断下探,VR 产品将 进一步向消费者渗透普及。

应用领域

游戏之外,视频、直播、电竞、社交等商业场景亦多点开花,呈现广阔前景。

根据 IDC 数据,消费类 VR 主要包括游戏、视频、直播、影院、电竞、社交、音乐等领域.

商业类 VR 主要是教育、文旅、医疗、家装、房产、零售等。

其中基础的 VR 娱乐产品如游戏、视频、直播等需要用户具有高沉浸感,从而达到“身临其境”的体验,这对于 VR 内容的品质要求非常高;

而对于商用场景,用户对产品的关注点更多的在于能否达到相应的效果,因此,商用 VR 的内容门槛相对用户端要低,内容制作成本也相对较低,同时一些商业模式也已经跑通,可预见商业 VR 将迎来高速发展。

巨头布局:围绕硬件、软件、内容/平台展开竞争

Facebook:以消费级硬件切入,剑指 VR 社交

  1. 硬件方面

    Facebook 在收购 Oculus 后相继推出 PC VR Oculus Rift CV,VR 一体机 Oculus Go、VR 一体机 Oculus Quest、PC VR Oculus Rift S、VR 一体机 Oculus Quest 2。

    其中 Oculus Quest 2 上线半年后销量超过此前所有产品总和,预测2021年销量为500-900万台。

  2. 软件方面

    出于商业竞争及战略安全的考虑,Facebook 已经加大投入构建围绕空间计算与 3D 的完整 VR/AR 操作系统,以应对对安卓系统的依赖而受制于谷歌。

    自研操作系统有助于 Facebook 将社交、隐私与硬件深度结合,为其收购的公司以及合作伙伴构建完善生态。

  3. 内容方面

    Quest 平台采用严格的审核机制决定游戏上线,以高品质内容成就高口碑,上线以来收入规模稳步增长,累计收入规模超 1.5 亿美元,超 60 款游戏收入达 100 万美元。

    此外,VR 社交平台《Facebook Horizon》被视作 Facebook 志在社交的桥头堡,仍在测试中,兼容 Rift、Quest。

微软:专注 AR 眼镜,继续打磨 HoloLens

  1. 硬件方面

    微软发布 HoloLens 一代惊艳市场,持续打磨后推出 HoloLens 2,增加了强大的 手势追踪,这种进步是划时代性的,如同智能手机的触屏功能;相对一代 CPU 性能有显著提升,可以流畅运行复杂特效;与微软 Azure、Dynamics 365 等远程方案很好结合使用。

  2. 软件方面

    HoloLens 运行在名为 Windows Holographic 的平台上,如果将 HoloLens 看作 PC 机,那么 Windows Holographic 平台就是操作系统。

    基于 Windows 10 的 Windows Holographic 平台能够提供全息影像框架、交互模型、感知 API 和 XboxLive 服务,目前在 Windows 商店里能够找到数百个全息 UWP 应用,可见其正在规模性地扩展。

    同时,微软联合 Unity 推出 MRTK 开发工具(Microsoft Mixed Reality Toolkit)旨在帮助开发者轻松利用 Unity 开发跨平台 MR 应用。

    它同时允许开发者通过编辑器模拟轻松进行原型设计。

    最新的 MRTK 2.7 现可通过 Mixed Reality Feature Tool 下载,正式支持 OpenXR。

苹果:低调布局多年,颠覆性产品蓄势待发

  1. 硬件方面

    专利技术,截至目前,苹果已有 330 多项公开可查的 VR/AR 关键专利。

    苹果在 AR/VR 领域 的布局最早可以追溯到 2006 年提交的一项头戴式显示器的专利。

    截至目前透露的最新专利 包括“动态环境照明控制”、“全景光场捕捉、处理和显示”,以及一项“基站”专利,为 VR/AR 内容提供处理能力,支持用户与内容进行 6DoF 交互。

  2. 软件方面

    苹果最新的 ARKit 5 帮助开发者构建比以往任何时候都要更好的 AR 体验,主要包括位臵锚定支持更多地区、人脸追踪功能升级、改进运动追踪等。

  3. 内容方面

    苹果收购 VR/AR 直播企业 Next VR、收购虚拟现实初创公司 Spaces、Apple TV+ 流媒体视频服务中增加 VR/AR 内容,基于底层链条逐步完善内容生态。

谷歌:不再支持 Daydream,重心重回 AR

  1. 硬件方面

    2017 年,Google Glass 以企业版本 Glass Enterprise Edition 回归,主要面向企业客户,涉及农业机械、制造业、医疗以及物流等领域。

    2019 年,Google Glass Enterprise Edition 2问世。企业级市场之外,谷歌于2020年收购加拿大眼镜公司North布局消费级AR, North 创立于 2012 年,主要研发支持手势控制操作的臂环设备 Myo; 2018 年改名为 North, 同时推出智能眼镜 Focals,同年 North 收购英特尔 230 多份智能眼镜专利。

  2. 软件方面

    对标苹果 ARKit 推出 ARCore,基于安卓系统搭建增强现实(Augmented Reality, AR)应用的 SDK。

    ARCore 使用三项关键技术来整合虚拟内容和现实世界:

    1. 运动跟踪技术 (让手机能够理解并追踪自身在环境中的相对位臵);
    2. 环境理解技术(让手机可以侦测到扁 平的水平面,如地表或咖啡桌);
    3. 光照强度估测技术(可以估量当前环境的光照情况);

VR穿戴分类

VR平台可分成2大类,分别为 有线VR无线VR

  1. 有线VR:是指基于PC/主机类的VR设备,例如:OculusDK1、DK2;CV1;HTC VIVE;Sony PSVR等。

    其特点:基于强大计算能力的极佳的综合体验效果。

  2. 无线VR: 以 Google CardboradOculus GearVROculus Quest2 为代表的移动端VR,以手机或者穿戴式设备实现无线显示。

    其优点:可以随身携带,缺点是计算能力不如台式机强大。

未来 无线VR 一定是主流方向,这不单是因为嵌入式CPU、GPU发展越来越强大,体验越来越好,更重要的一点是,无线方式结合VR技术可以实现丰富的商务模式,更容易获得普通消费者青睐。

下一步:学习VR技术,开发元宇宙

推荐给一些零基础一个完整的学习路线:语言掌握C# — 工具掌握 Unity — SDK掌握Vuforia和ARKit — AR眼镜掌握HoloLens开发 —- VR眼镜掌握Oculus Quest开发。

介绍了主流VR硬件平台,但想要真正“携手VR”,还需要了解如何开发VR应用。下面就介绍一下VR开发引擎,其实本质还是传统的3D引擎,尤其是传统的 双U (即Unity3D和Unreal),加入了VR插件(所谓VR插件,基本功能是实现左右分屏渲染,陀螺仪、位置跟踪等API)。

开发引擎与我们传统的开发语言环境相比,有以下几个不同:

  1. 首先开发者要更熟悉3D 的理念,这是VR的基础
  2. 其次VR的3D引擎开发需要各种各样的开发应用资源

Unity(U3D)

Unity Technologies 是一个全面整合的专业游戏引擎,同是一款强大的IDE工具,可以制作多平台综合型游戏。诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容。

Unity类似于Director,Blender game engine, Virtools 或 TorqueGame Builder等利用交互的图型化开发环境为首要方式的软件,其编辑器运行在Windows 和Mac OS X下,可发布游戏至Windows、Mac、Wii、iPhone和Android平台。也可以利用Unity web player插件发布网页。

参与者不仅仅是程序员,还有美工等其他人员,所以引擎是一个完整的协作工具,编程尤其是写代码只是开发中的一个环节, 开发 更多是一种综合性工作。

Unreal Engine(UE)

关于UE和UDK,前者是正式商业版本(建议用此版本),后者是前者的免费版,无源码,商业用途需要授权。 UNREAL ENGINE中文名“虚幻引擎”,是目前世界最知名、授权最广的顶尖游戏引擎,占有全球商用游戏引擎80%的市场份额。中国首家虚幻技术研究中心在上海成立,该中心由GA国际游戏教育与虚幻引擎开发商EPIC的中国子公司EPIC GAMES CHINA联合设立。

基于它开发的大作无数,除《虚幻竞技场3》外,还包括《战争机器》、《彩虹六号维加斯》、《镜之边缘》等等。在美国和欧洲,虚幻引擎主要用于主机游戏的开发,在亚洲,中韩众多知名游戏开发商购买该引擎主要用于次世代网游的开发,如《剑灵》、《TERA》、《战地之王》等。 iPhone上的游戏有《无尽之剑》(1、2)、《蝙蝠侠》等。

双U对比

关于以上两种开发引擎哪种更适合VR开发

Unreal

  • 优势:3D图形画质较好,因为它采用了预烘培等技术,并且更充分地利用了Shader。
  • 劣势: 开发难度较大,早期只能使用C/C++开发,UDK引入了类C/JAVA语言UnrealScript作为开发语言,但业内精通UE的开发者不多,有极端观点认为UE如果不做FPS射击游戏的话,失败概率很大。

Unity

  • 优势
    1. 架构设计非常合理;开发者容易上手。
    2. 跨平台支持非常好,第三方插件系统非常先进,能第一时间获得最新VR设备的插件支持,堪称宝库的 asset Store 第三方组件、素材商店让你仿佛是在与全世界的开发者联合开发。
    3. Unity开发可以 举一反三 :一次开发可以迅速应用到多种平台,或者新插件一发布,许多老的项目也能扩展到新的方式当中。比如VR开发,Oculus、HTC、Sony、Cardboard一发布,Unity平台上就有新的插件可以使Unity开发的老项目适用于VR新硬件平台上。所以目前U3D的开发者队伍发展速度非常快。
  • 劣势
    • 出现时间较晚,一般认为缺省画质不如UE。

其他平台

其他还有一些平台如CryEngine、OSVR等,也有一些开发者不用引擎,直接用高级语言驱动VR设备开发,但这种方法要解决的问题太多,比如左右画面自己渲染,陀螺仪驱动数据读取等,有兴趣的开发者可以找一些资料,不过因为VR硬件平台发展太快,选择这种开发方式要慎重。

OpenXR

OpenXR 是VR领域的一个重要里程碑。这个API将允许游戏和其他应用程序在各种硬件平台上轻松运行,而无需专有的SDK。

  1. OpenXR 的实现是非常底层的,普通的开发者们无需仔细研究底层,只需要拿到工具类进行开发调用即可。
  2. 开发者们可以基于OpenXR上层继续进行便捷的应用开发,但这同样需要一个类似VRTK的开发套件来进行。
  3. VR/AR厂商们可以将自己原有的SDK向 OpenXR改造靠拢,以实现一个多平台互通的桥梁。

OpenXR | OpenXR是什么?一文带你全面了解OpenXR的相关知识,上车收藏不迷路 - 云+社区 - 腾讯云

OpenXR | (二)使用 OpenXR 制作一款简单VR示例场景 的全过程详细教程,包含两个实战案例。 - 云+社区 - 腾讯云

OpenXR Plugin

OpenXR Plugin是 Unity 开发的符合 OpenXR 标准的工具包,旨在让 Unity 开发者尽可能高效地将内容部署到更加广泛的 XR 目标平台上。开发者在 Unity 2020 中通过 Package Manager 搜索"openxr"即可找到该工具包并进行安装。

OpenXR Plugin | OpenXR Plugin | 1.0.3

OpenXR 插件 - Unity 手册