摘要

本文首先介绍VR技术及其在新闻、出版行业的应用前景，并提出当今VR技术面临的三大重要挑战。为了让VR应用获得更好的用户体验，本文提出QuickView，一套运行于当今智能终端上的渲染迁移框架。QuickView将复杂而高功耗的渲染任务通过网络传递到强大的云端，由云端完成高计算量的图像渲染工作，最终返回终端并回显给用户。为了克服无线网络下高延迟，带宽有限的挑战，QuickView采用了两项新技术：基于网络状态的用户行为预测和低延迟带宽的渲染迁移网络协议。我们实现了QuickView原型系统，并且将QuickView和传统的本地渲染的VR应用进行对比。实验证明，QuickView可以提升大约59%的帧刷新率，降低68%的用户感知时延，降低90%的平均功耗。我们相信，未来QuickView渲染迁移框架将会为更多的新闻、出版类VR应用提升更加便携的使用，更优质的视频服务质量，以及保证更长时间的续航。

1 引言

虚拟现实（VR）是近几年来国内外关注的一个热点，其发展也是日新月异。简单地说，VR技术就是借助于计算机技术及硬件设备，实现一种人们可以通过视听触嗅等手段所感受到的虚拟幻境，故VR技术又称幻境或灵境技术。

2014 年Facebook 以20 亿美元收购Oculus，该公司于2016 年初推出第一代面向大众的商用虚拟现实头戴式眼镜Oculus Rift；索尼公司也于16 年9月推出PlayStation VR；Google于10月发布了Daydream view VR头戴显示设备。2016年6月21日，全球领先的移动互联网第三方数据挖掘和分析机构艾媒咨询(iiMediaResearch)权威首发《2016上半年中国虚拟现实行业研究报告》。报告显示，预计2016年中国虚拟现实行业市场规模将达56.6亿元，2020年市场规模预计将达556.3亿元。2016年被业界认为是虚拟现实行业真正的元年，环境、产业链初具雏形。

随着VR技术的兴起，各个领域的VR应用也广泛发展起来。VR+购物打破物理限制，把店铺带到消费者眼前，但是目前仍处于行业探索阶段。VR+旅行可以借助虚拟现实来预览和规划行程计划，以及探索一些无法企及的目的地。VR+游戏正在蓬勃发展，然而目前面临的挑战是优质游戏内容缺乏，移动端硬件画质制约，以及制作成本高昂。VR+电影虽然呼声不断，但是由于软硬件技术的缺陷，拍摄难度的增加，高额价位，还有易产生的晕眩感制约，VR+电影还有很长的路要走。VR+房产给用户提供沉浸式看房体验，节省样板房制作成本，增加看房流量，减小沙盘布置空间，实现异地看房，进一步提升房产行业的交易效率。

其中VR+新闻也给我们带来了很大的想象空间。如何真实生动丰富地传递信息是新闻行业一直以来最关注的问题。新闻行业从最初的口口相传，发展到文字报导，再到20世纪的多媒体信息，即图片、音频和视频，未来将发展为VR+新闻，以VR的沉浸感，交互性和想象力来带领读者去感受新闻现场。2015年10月，纽约时报推出NYT VR，成为首个试水VR报道的世界级权威媒体。之后大量的媒体跟进，BBC、ABC News 、美联社、《体育画报》纷纷推出VR内容，本月AOL（美国在线）还收购了一家全景视频公司Ryot，将会支持《赫芬顿邮报》的VR报道，开启网媒VR报道的先河。国内则有人民日报等媒体跟进VR报道。网媒中，网易报道切尔诺贝利核泄漏30周年尝到了VR的头啖汤。同时，随着近年来网络直播兴起，让新闻现场更多地呈现在用户的面前。人人都是主播，人人也都是观众，每个人都可以更直接地触达到关注的现场。而未来VR和直播的结合，将会把这种实时的现场感做到极致。而现场报道机器人或者无人机可以带来危险现场或是高空视角的现场，未来和VR以及直播的结合，更是能让我们看到更丰富更全面的世界。

VR报道虽然能够带来强大的现场感，然而VR报导的制作和阅读成本高，并不适用于所有的新闻报道。适合做成VR新闻的类型主要是视觉奇观类的新闻题材，以及人们无法亲临现场的情况。体育报道、大型演出、活动等这类追求现场感的新闻报告，会率先和VR结合。此外，目前已面世的VR新闻大多停留在全景视频的水平，与真正的VR体验还有比较大的差距。因此在内容的制作上还需要进一步发展。新闻是非常碎片化的信息，和移动手机碎片化和便携化场景更加契合，因此VR新闻的体验更适合呈现在移动VR设备上。

但是，现今的移动VR设备，因为受到移动终端有限的硬件能力的约束，无法提供高清、流畅的视频图像效果。为了让新闻VR等VR应用在移动终端上能够提供更高质量的服务，我们设计并实现了QuickView，一个面向移动VR应用的渲染迁移框架。QuickView允许终端上的VR应用通过网络将需要消耗大量计算资源的渲染任务迁移到云端执行，再接受渲染出的图像结果并最终回显给用户。通过渲染迁移，QuickView让移动终端获得了更加强大的渲染能力，以及更长时间的续航。我们将QuickView原型系统部署在了Google Daydream平台上。实验证明，相对于传统的本地渲染的VR应用，QuickView能够为新闻类及其它VR应用提升大约59%的帧刷新率（FPS），降低68%的用户感知时延，同时降低90%的平均功耗。

2 VR技术背景

VR设备主要分为输入设备和输出设备两部分。其中输入设备主要有游戏手柄、手势识别设备、动作捕捉设备、方向盘等。输出设备有外接式VR头盔、一体式VR头盔、智能手机VR眼镜。目前国内VR硬件投资市场以输出设备为主，市场上主要产品可以分为移动端VR、PC端VR和一体机。

PC端VR头盔绝佳的体验感让消费者体验到VR技术真正的魅力。以Oculus Rift为例，相比于Grea VR，Rift有定位追踪功能、更深层次的游戏体验和高保真环境。但是PC端VR头盔相对于移动VR存在操作繁琐、价格昂贵、携带不便等困难。

目前PC端VR还存在许多问题。我们使用PC端VR需要一定的空间以及多项设备包括PC、传感器的链接，并且VR设备对PC的硬件要求也很高。如HTC VIVE最低PC配置要求是酷睿i5+GTX970，Oculus Rift也类似。但是，目前微软、video等各大公司正在努力优化显卡，VR对pc硬件的要求也会随着技术的提升而降低，并且VR目前在努力发展云端技术，未来或许并不需要再连接PC。

在中国VR设备市场，基于智能手机的发展轨迹以及庞大的用户规模，移动VR被很多人认为是未来的主流VR设备。另外由于移动VR设备想对来说技术含量较低、成本不高，使得移动VR设备推广更为迅速。但在消费者的沉浸感和交互性体验上来说，就要比pc端设备和一体机低很多，尤其是目前技术还在发展阶段，VR内容较少，较低的舒适度和体验感会影响消费者对移动VR产品的评价。

相较于市场上的手机盒子以及依托电脑输出的VR产品，一体机更符合人们对VR的认知。VR一体机是具备独立处理器并且同时支持HDMI输入的头戴式显示设备。具备了独立运算、输入和输出的功能。VR一体机需要具备独立的运算处理核心，因此具有更高的研发难度。目前国内基本没有相关芯片制作厂商，一体机VR发展缓慢，短期无法形成较大市场规模。

我们从图像质量，响应速度，便携性，成本，以及能耗五个方面来对比三类VR输出设备，PC端VR头盔在图像质量和响应能力上表现出色，然而便携性不足，成本高昂，能耗大。移动VR设备在便携性和价格上占优，然而由于移动终端计算资源和存储资源的限制，响应速度不如PC端VR头盔，而图像质量和能耗上表现更是不理想。因此理想的VR设备是一体机，然而研发难度大，进入市场慢。因此，低成本，碎片化的移动端VR，在这个内容稀缺的时代，更容易抢占市场先机。

3 问题和挑战

相比于传统的应用，VR应用主要有以下三个主要性能要求。

极低的用户感知延迟。对于VR应用来说，当用户移动头盔时，应用需要能够在极短的时间内响应用户输入，并且将对应的图像渲染、显示在屏幕上。这个延迟要求大约在50ms以内。否则，过大的延迟会让用户在使用过程中感觉严重的视觉滞留，进而导致用户头晕等不良反应，影响用户体验。

高帧数和图像质量。VR应用的屏幕距离用户的眼睛非常近，并且通过放大镜将图像放大。所以，如果VR应用显示的图像质量不高，用户看起来就会颗粒感严重，影响用户体验。同样的，显示视频的时候，帧刷新率要足够高，否则会引起用户在使用过程中的不良反应。

低功耗。VR应用在运行过程中需要占用屏幕、GPU，会产生大量的计算开销。为了使移动终端获得更久的续航时间，VR应用需要想办法降低自身能耗。

以上三点是当今VR应用所面临的问题与挑战。因此，要想获得良好的VR体验，吸引更多的用户，就必须克服上述挑战。

4 QuickView系统设计

在本章节中，我们提出QuickView系统，一套面向VR应用的渲染迁移技术框架。QuickView利用一系列的新兴技术，解决第三章节中提到的VR应用面临的三大挑战，提升VR应用的用户体验。

4.1 系统整体架构

QuickView系统的基本思想是，借助移动网络将终端商的高计算量的渲染任务迁移到云端执行，获取云端强大的渲染能力，同时也可以降低自身功耗。

和移动云计算领域内传统的计算迁移不同，在VR场景下，整个渲染任务的迁移过程对于延迟、带宽的要求要高的多。一方面，在移动终端上显示出来的视频图像，一定要能够快速响应用户动作。举例来说，当用户将移动终端戴在头上使用VR应用时，一旦用户的头部发生转动，显示屏上的图像必须在极短的时间内响应用户的头部动作。否则，过慢的视觉响应会让用户产生头晕等其它不适应的感觉。另一方面，渲染工作产生的是图像帧。一段连续的VR动画效果包含了非常多帧，而这些图像帧在进行网络传输的时候会产生巨大的带宽开销。

QuickView架构采用两种关键的新技术来满足VR应用场景下渲染迁移的低延迟、高带宽需求。首先，QuickView使用了基于网络状态的用户行为预测方案（network-aware behavior speculation），提前预测用户在未来一小段时间内可能会执行的动作，进而提前告诉云端未来几秒内可能需要渲染的内容。这样云端可以提前渲染所需图像帧，提前发送回给移动终端，避免无线网络中潜在的高延迟对于VR应用的影响。其次，QuickView采用协同渲染的模式。对于所需要渲染的图像，可以拆分成两部分。一部分是高清晰度部分，这部分数据量小，但是所需要的计算开销高。另一部分是低清晰度部分，这一部分数据量大，但是所需要的计算开销低。因此，在QuickView系统中，我们让移动终端渲染数据量大但是计算开销小的低清晰度部分，让云端渲染数据量小但是计算开销大的高清晰度部分。因此，在渲染迁移过程中，我们只需要传输数据量小的高清部分。最后，在移动终端上将分别渲染的高清晰度部分和低清晰度部分合并，并呈现给用户。

QuickView的系统架构如图5所示。整体上来看，QuickView主要包括以下几个主要功能模块。Pose Tracking，用户动作追踪模块。Network-aware speculation，基于网络状态的用户行为预测模块。Pre-rendering Module，预渲染模块。Frame Encoder，图像帧编码模块。Data Channel，低延迟、低带宽的数据传输通道。Low-latency Cache，本地高速缓存模块，用于缓存提前渲染好的图像帧。Decoder和Distortion，用于对图像帧解码并且根据人眼特征进行校正，最后将VR图像回显。

运行时，QuickView遵循以下步骤进行渲染迁移以及结果回显。一方面，QuickView利用移动终端上的传感器，追踪用户头部移动。终端将当前的位置发送到云端。云端则根据当前的网络状况以及终端上用户的当前位置，推算出为了保证终端显示不卡顿，应该预先渲染好的图像帧。紧接着，预渲染模块根据当前推测结果，渲染未来一小段时间内终端上需要用到的图像帧的高清部分，并且压缩、编码。再利用特定的低延迟协议传输到终端上。移动终端则将自身渲染的低清晰度部分和云端渲染的高清部分合并，将结果存储到本地的高速缓存上。另一方面，在实际使用过程中，移动终端在本地根据当前的用户位置，查询高速缓存，提出对应的图像帧，解码并且进行视觉矫正，最终回显给用户。

接下来，我们重点介绍QuickView系统中的几个关键技术：1）基于网络状况的用户行为预测；2）本地高速缓存设计；3） 低延迟、低带宽开销的渲染迁移协议设计。

4.2 基于网络状态的用户行为预测

基于网络状态的用户行为预测模块，其设计目的在于根据用户设备的当前位置信息，以及实时的网络状态，估算出在接下来一段时间内用户可能移动到的位置。进而在云端将这些可能在未来出现的图像帧预先渲染好，提前发送给客户端，由此降低网络传输延迟对实时图像显示的影响。

图6显示了在传统的计算迁移技术下，用户感知时延和网络延迟之间的关系。假设在t7时间用户移动了终端设备。在传统的计算迁移方式下，渲染的请求经过网络，在t8时间到达云端。之后，t8-t10时间里，云端对所需要的图像帧进行渲染，再经过t10-t13的时间传输回终端并且显示给用户。在这种模式下，用户从发起动作，到对应的图像显示出来，总共耗费了t7-t13的时间。对于VR应用来说，这样高的延迟会让用户感觉严重不适，对用户体验造成严重影响。

如图7所示，QuickView在传统计算迁移的模式基础上，增加了预测用户行为的功能，降低网络延迟对于用户感知时延的影响。假设在t2时刻，预测到在t7时刻用户会产生某一动作。则在t2时刻提前将渲染的请求发送到云端。在t5时刻，云端完成渲染并将渲染结果传回给客户端。在t8时刻，终端接受到渲染结果，回显给用户。在QuickView的计算迁移模式下，用户感知时延为t7-t8，远远低于传统计算迁移模式下的时延。

接下来，我们详细介绍：1）如何对未来的用户行为进行预测？2）应该提前多少时间进行渲染？

分享让更多人看到