5G与VR/AR到底有没有一毛钱关系？我们认真地做了这些研究 (互联网下一站:5g与ar/vr的融合)

本文作者马杰思（微信：jiesima），小米VR/AR高级总监，新浪VR授权发布。5G来了，VR/AR概念似乎回暖了。投资、咨询、市场分析等领域里关心5G+VR/AR的人又多了起来。然而也有不少从业者认为5G+VR/AR纯属概念炒作，认为两者之间并没有一毛线关系，甚至大有谈5G就踢群的架势。所以5G+VR/AR到底有没有真实的价值？在做了相关的研究后，我们认为：1、5G的大带宽特点对于VR的价值是在线观看5K以上辨别率的全景*，对于AR在现阶段价值不大。2、5G低时延特点的价值是通过云游戏技术提升画质，同时帮助云游戏技术降低其“网络时延”，使得采用云游戏技术方案的VR/AR产品的“运动到成像时延”能够达到毫秒的及格线以内（“网络时延”是“运动到成像时延”的组成部分）。3、5G的低时延特点并无法直接帮助现在的VR/AR产品降低“运动到成像时延”。下文我们将详细拆解5G与VR/AR的关系。一、VR/AR如何接入5G网络？要让5G发挥作用，先得让VR/AR连上5G网络。我们先说VR。VR领域中最为主流的品类是VR一体机，即无需连接定位器或PC，内置处理器，可以*运用的VR产品。VR一体机运用的芯片组往往是定位器3年前的配置，现在主流产品依然在运用高通骁龙和。这些芯片组不具备直接接入5G网络的能力。其实不仅仅是VR，现存的各类其他硬件产品也都不支持5G，仅支持Wi-Fi或4G。为了应对这一问题，出现了5GCPE这样的设备。它可以将5G信号转化为Wi-Fi信号，现存产品就可以通过Wi-Fi连到5GCPE，再连上5G网络了。听起来这和千兆家庭宽带也没有什么分别嘛？从家庭的运用场景来看，确实如此，无论运用5GCPE还是千兆家庭宽带，VR一体机均为通过Wi-Fi进行连接，两者达到的下载速率也是相似的（千兆bps）。同时，由于VR是全沉浸式的体验，绝大部分用户是在家里运用，对于移动性的需要较小，因此千兆家庭宽带能很好发挥作用，对于5G网络的需要则相对较小。千兆家庭宽带和5G，在面对复杂的城乡基础设施环境时，都存在铺设网络的可行性、效率、成本等问题。所以，对于VR来说，关键是看5GCPE和千兆家庭宽带谁能更快更广的普及了。对于AR来说，故事则有所不一样。现在国内做AR*的整体思路是，让AR透视通过有线方式连接到*上（DisplayportoverType-C），AR透视仅仅作为显示单元，运算和电池都是用的*，以此来降低透视的重量，提升佩戴舒适性（虽然现在的技术距离全天舒适佩戴还有很远的距离）。因此AR*是否能连上5G网络，主要得看它连接的*是否支持5G。现在已经能看到，多家定位器厂商放出了5G实测*，相信5G定位器的面世也将很快发生。相比VR，AR透视能够相对轻松的搭上5G定位器这趟顺风车。好，现在连上5G了，Nowwhat？5G有三大特点：大带宽、超低时延与高可靠性、大规模连接。其中前两者是与VR/AR息息相关的，我们接下来分别进行讨论。二、5G大带宽对于VR/AR的作用5G大带宽对于VR的作用在于提升全景*的辨别率和码率，从而达到更好的观看体验。虽然现在的VR设备都可以观看全景*，但是辨别率和码率往往达不到及格线，看起来感觉糊成一锅粥，这是一个普遍的问题。我们来看看及格线的要求是什么。在看*的时候，我们希望*的辨别率与屏幕的辨别率保持一致，以达到最好的效果。比如用p的电脑屏幕看p的*，是最佳体验。VR头显的视场角一般是°左右，全景*是一个°的球体，相当于VR头显视场角的3倍多。VR头显屏幕辨别率一般为2K或4K，因此全景*的最佳辨别率也是其3倍多，即8K或K。只有达到这样的辨别率才能有优秀的观影体验，然而这样的辨别率对于宽带速率要求是极高的。现在主流*平台的p*，码率大约在1~2Mbps。比如爱奇艺的《海王》全长2.小时，p*文件大小为1.GB，码率约为1.6Mbps。我国平均的网速速率远高于这*率，所以一般情况下，你看p*没有任何问题。而VR全景*的码率则要高了一个数量级。以行业标杆的OculusStudios出品的《Henry》为例，其片长为8分秒，辨别率为5K，文件大小为1.3GB，码率约为.8Mbps。这已经接近我国平均网速速率，大量用户会无法流畅地在线观看，必须要下载下来看才行。这就有点像年前，大家看*都得先通过BT或电驴下载下来一样。现在你要看一个超高清的、高码率的优质VR全景*，也需要先下载下来，才能保证最好的观影体验。5G和千兆家庭宽带，使得网络速率提升到Mbps左右，让在线观看Mbps的全景*成为可能，大家观看VR全景*就和现在爱奇艺p*的体验一样了。除了*之外，VR云游戏同样需要大带宽。VR云游戏其实也是一个全景*流，也是°的，因此也需要上述相同的辨别率和码率，才能达到最佳的体验效果。对于AR来说，5G的大带宽有什么作用？当前行业所畅想的AR透视使用场景主要分为两类：第一类是定位器的大屏化：将**作*变成一个大屏的、多窗口的体验。定位器的大屏化场景所需的网络带宽与现有*和PC无不一样，5G无法提供额外的附加价值。第二类是原生AR体验：即利用计算机视觉识别现实中的场景，将虚拟信息有机的叠加到现实的场景中。原生AR体验往往是基于3D图形的，5G大带宽的作用主要是提升3D模型的实时加载速度，让3D模型无需提前下载到本地，只有需要用到的时候再从云端进行加载，减少包体大小（注意，这并不是云游戏的技术方案）。然而3D图形加载速度这个改善的价值十分微小。受限于移动设备的算力，3D模型文件体积并不大，而且大部分使用场景对于实时加载的需要也并不强烈。只有等到对3D模型的精度需要极高、对3D模型实时加载的需要很强的情况下，5G才有其发挥的价值。现在能看到这样的场景就是VR/ARTelepresence（又称VR/ARHoloportation），即将人体进行3D重建或体量捕捉（VolumetricCapture）后，远程进行近似于面对面一般的VR/AR通信。不过这样的技术还处于实验室阶段，距离消费市场还很遥远。另外，由于AR*并不合适观看全景*，因此5G的大带宽也无用武之地。三、5G低时延对于VR/AR的作用一提到5G低时延对于VR/AR的作用，你能在各种媒体上看到相似“5G降低VR/AR时延，搞定VR/AR眩晕感”这样的说法。这是一个巨大的错误认知。5G对于降低VR/AR时延没有任何的作用。要讲清楚这个问题，我们先来看什么是VR/AR时延。VR/AR时延又称为运动到成像时延（Motion-to-PhotonLatency），是指从IMU或视觉传感器检测头部/手部的运动，到图像引擎渲染出对应的新画面并显示到屏幕上，这样一个链路的时延。主流的VR头显均已在本地做到了毫秒以内的运动到成像时延，整个链路都是在本地设备上完成的，并不需要连网。毫秒是一个人类感知的黄金分割线，时延低于毫秒，我们就感觉不到了。我们测验过一些年的产品，时延已经达到了毫秒左右。有人可能要说了，那既然已经做到毫秒以内了，为什么我玩VR还会眩晕？那是因为导致VR眩晕的原因不止是时延，而是共有三个：时延、光学参数、内容舒适度。现在的技术已经搞定了时延和光学参数的问题，但是在内容规划上带来的眩晕感是无解的，VR游戏和体验中的剧烈运动和快速移动依然可能会让你眩晕。这完全取决于你对晕动症的耐受程度，每个人都有所不一样。这也是为什么全球最好的VR品牌Oculus在年搞定了时延和光学参数的问题之后，还对其内容进行了舒适度评级，让用户根据自己的耐受度选择适合自己的VR体验。我们说回5G。再重复一遍，5G对于降低现有VR/AR产品的运动到成像时延没有任何作用。假设非要在这个链路上加入5G，反而只会增加整个链路的时延。比如，如果将图像引擎渲染这一步放在云端来做，也就是云游戏的做法，那么就会引入5G上下行带来额外的时延。5G的理论时延是1毫秒，那么整体链路时延就会变成毫秒+1毫秒=毫秒。如果5G实际时延相比理论的1毫秒高出许多，比如毫秒，那么整个链路的时延就是毫秒+毫秒=毫秒。这就会超出了毫秒的基准线，反而会给用户带来眩晕感。（本文中的网络时延是指端到端的上行+下行网络时延）5G低时延的特征对于VR/AR的作用并不是降低时延，而是通过云游戏的技术方案提升画质，并降低云游戏技术中的网络时延。无论是VR一体机，还是连接定位器的AR透视，都是运行在移动端上，主要是高通骁龙系列。相比PC的处理器和GPU而言，移动端的3D图形性能还是有数量级上的不一样。VR/AR强调的是沉浸感，对于画质的要求很高，最极致的VR体验需要强劲的高端PC来承载。下面是VR游戏《RoboRecall》在OculusQuest（移动芯片）和OculusRift（PC端）上运行的画面对比。我个人做了对比测验，感官上的不一样会比大家看图片来得还要显著。5G可以将3D图形运算放到云端，也就是云游戏的技术路线。这样就可以利用云端强劲的PC级处理器和GPU来进行3D图形运算，再以*流的形式传回本地的VR/AR设备上，让移动芯片的VR/AR设备也能显示出最*的画质。然而，云游戏的技术方案对于VR/AR来说，最大的挑战在于网络时延。如果采用了云游戏的技术方案，那么网络时延就变成了运动到成像时延的一部分，网络时延会增加整体的运动到成像时延。从现在的数据来看，网络时延是整个链路中最长的部分，也是尚未搞定的部分。现在基于家庭宽带的情况，云游戏的时延约在毫秒左右。比如，Google的云游戏服务Stadia，经DigitalFoundry初步测验，时延在毫秒。如果把这样的技术方案搬到VR/AR上来，那一定会让用户晕到天昏地暗。这个时候5G低时延的价值就来了，如果5G真的能够达到标准中的1毫秒时延，那么基于5G的VR/AR云游戏方案就能够达到合格的用户体验。如果真能做到，这会是VR/AR成为消费市场主流产品的重要基础设施。那么问题来了，5G实际上到底能做到多低的时延，什么时候能做到这样低的时延。这才是关键。再次来总结一下。我们认为：1。连接5G网络的方式，VR主要将会通过5GCPE，AR主要将会通过5G定位器。2。5G的大带宽特点对于VR的价值是在线观看5K以上辨别率的大码率全景*，对于AR在现阶段价值不大。3.5G的低时延特点并无法帮助现在的VR/AR产品降低“运动到成像时延”，它的价值是通过云游戏技术提升画质，同时帮助云游戏技术降低其“网络时延”（“网络时延”是“运动到成像时延”的组成部分），使得采用云游戏技术方案的VR/AR产品的“运动到成像时延”能够达到毫秒的及格线以内。