摘要：本文首先介绍了VR在新闻等各个领域的应用，并介绍了VR目前面临的主要问题。为了解决这个问题，我们提出了基于自适应FEC编码的VR传输协议MPFEC，可以充分利用多路径的能力，并根据冗余包恢复丢失的数据包以降低时延，保证更好的VR的沉浸式用户体验，使VR在新闻领域广泛使用成为可能。

1 引言

最近迅猛发展的VR（虚拟现实）技术给新闻、游戏、教育、艺术、甚至医疗等众多领域带来了天翻地覆的变化，VR能够利用计算机生成一种多源信息融合的、交互式的三维动态视景仿真环境，使用户沉浸到该环境中，给人身临其境、重现现场的效果，这种现场感也是新闻媒体业追求的目标，同时也会给用户带来时空穿越的感觉，拉近和新闻事件的距离，使用户产生强烈的体会和感受。

纽约时报（New York Times）、美国有线电视新闻网（CNN）和英国广播公司（BBC）等媒体大军纷纷加入VR阵营，打造VR全景新闻视频吸引受众，并且希望最终从中获益，提高自身竞争力。2017年3月7日，CNN宣布正式成立名为“CNNVR”的虚拟现实新闻部门，该部门专注于VR新闻，每周推出一期360度全景视频，并不定期举行VR现场直播，使用户借助具备浸入感的电视新闻产品了解全球大事，并获得了不错的效果，其中包括叙利亚北部的交通要道和军事重镇阿勒颇遭受袭击、美国总统就职等视频在脸谱网上有超过3000万的点击量。美国广播公司（ABC）、英国广播公司（BBC）、美联社、美国全国广播公司（NBC）等多家广电媒体提供了新鲜的VR观赛体验，全方位地转播了开闭幕式、跳水、拳击等精彩盛典赛事，让屏幕前的用户如同置身现场一般感受盛典的宏大场面以及奥运赛场的紧张气氛。

同时，随着技术和硬件的普及，VR设备的获得门槛和成本越来越低。按照硬件形态来划分，VR设备主要分为三种：PC端VR、一体机VR、移动端头显(又叫手机VR)。其中PC端VR是目前体验最好的VR，典型的是Oculus Rift、HTC的Vive，这类VR设备需要连接电脑，因此他们拥有更强劲的性能，可以渲染出更精良的VR内容，但是会受到数据线的束缚；一体机VR，顾名思义，它具有独立CPU、输入和输出显示功能，完全摆脱传输线的束缚，但是由于CPU性能和显示屏分辨率的限制，其体验效果不如PC端VR；移动端头显是最便宜的一种入门版VR头戴设备，只需花10磅就可以购买一个谷歌纸板，向其中放入手机并打开YouTube，就能体验“无与伦比”的VR视频，移动端头显让一些拥有手机的用户可以轻松享受到VR技术。

VR视频传输质量深刻影响VR用户体验，是VR中至关重要的技术之一。VR视频传输的一大特点是传输数据量大，虽然采用FOV传输方案可以有效降低带宽，但是VR的沉浸式用户体验与数据传输时延密不可分。较大的传输时延会带来较大的头动延时和较差的用户体验。目前移动VR设备逐步成为主流，VR视频数据通过无线方式传输到VR设备中，数据在无线信道中传输会因为干扰和拥塞而丢包，而丢包重传会带来较大时延。为了降低传输延时，提高VR用户体验，我们提出了基于自适应FEC编码的VR传输协议MPFEC，可以利用多路径传输视频数据，并根据冗余包恢复丢失的数据包以解决重传带来的高时延问题。

2 问题和挑战

VR视频传输的一大特点是传输数据量大，码率大（平均码率在5000kbps左右，码率变动比传统视频小），为了降低传输带宽，有人提出采用FOV传输方案代替360度传输方案，FOV传输方案工作原理见图3所示，VR设备将用户当前头部位置传至服务器，服务器返回对应头部位置的视频图像，由VR设备进行渲染并呈现给用户。若采用FOV传输方案，VR的沉浸式用户体验与数据传输时延密不可分。较大的传输时延会带来较大的头动延时 (Motion-To-Photon Latency)，使用户产生眩晕感等较差的用户体验，严重时会对用户健康造成损害。

由此可见，要想获得更好的VR体验， VR传输协议需要满足以下两个主要需求：高带宽和低时延。

3 MPFEC系统设计

目前移动VR设备逐步成为主流，VR视频数据通过WiFi、LTE等无线方式传输到VR设备中，数据在无线信道中传输会因为干扰和拥塞而丢包，不同无线信道的RTT和丢包率也各异。为了降低传输延时，充分利用多路径的优势，我们提出了基于自适应FEC编码的VR传输协议MPFEC，可以利用多路径传输视频数据，并根据冗余包恢复丢失的数据包以解决重传带来的高时延问题，提高VR用户体验。

3.1 发送端架构

MPFEC发送端的基本架构如下图所示：

用户在线观看VR视频时，视频并不是一次性传送到用户计算机上的，这样会占用太多的带宽，所以，视频会被切割成若干个小时间片段依次传送，同时每一个时间片段的视频也会切分为相同大小的分块，每一个分块采用不同码率进行编码。发送端的视频分块选择模块（Video Tile Selector）会根据反馈的当前网络RTT丢包率等信息选择相应码率的视频分块并输入编码模块（FEC Encoder）进行编码。原始数据和编码数据并行传输至数据包分配和拥塞控制模块（Packet Allocate & Congestion Control Unit），该模块会根据不同子路径的实际情况进行路径分配和发送速率控制。原始数据和编码数据均以UDP数据包的形式在各个子路径中传输。

3.2 接收端架构

MPFEC接收端的基本架构如下图所示：

MPFEC接收端会从不同子路径中收到不同的原始数据包和编码数据包，网络监控模块（Network Monitor）会统计丢包率等信息，并将各个子路径的网络状态信息传给反馈发送模块（Feedback Sender），由其将各个子路径的网络状况信息和用户当前头部角度反馈给发送端。接收到的数据包会储存在缓存模块（Buffer）中，当所有原始数据包均收到时，原始数据直接传送至视频解码和拼接模块（Video Decode & Stitch），当原始数据没有完全收齐但是该分块的数据包总数到达一定数量时，数据包将会被传送至解码模块（FEC Decoder）中，解码成功后，视频数据会传送至视频解码和拼接模块（Video Decode & Stitch），由该模块进行视频解码和拼接，并呈现给用户。

4 MPFEC系统实现

MPFEC系统的实现分为其发送端实现和接收端实现两部分，目前还在实现阶段。FEC编解码算法采用自适应参数的Semi-Random LT codes算法，视频编解码算法采用H.264算法。

5 总结

最近迅猛发展的VR（虚拟现实）技术给新闻、游戏、教育、艺术、甚至医疗等众多领域带来了天翻地覆的变化，各大主流媒体大军纷纷加入VR阵营，打造VR全景新闻视频和VR直播吸引受众。VR视频传输质量深刻影响VR用户体验，是VR中至关重要的技术之一。VR视频传输具有传输数据量大的特点，虽然采用FOV传输方案可以有效降低带宽，但是VR的沉浸式用户体验与数据传输时延密不可分。较大的传输时延会带来较大的头动延时和较差的用户体验。为了降低传输延时，充分利用多路径的优势，我们提出了基于自适应FEC编码的VR传输协议MPFEC，可以利用多路径传输视频数据，并根据冗余包恢复丢失的数据包以解决重传带来的高时延问题，提高VR用户体验，为VR技术在新闻出版业中获得更广泛的应用打下坚实的技术基础。

分享让更多人看到