人民网
人民网>>传媒>>人民网奖学金>>清华计算机2019

基于边缘缓存的高品质360视频传输

马腾,何东标
2019年12月25日10:34 | 来源:人民网研究院
小字号

【摘要

作为AR/VR技术的重要分支,360视频流提供了沉浸式的观看体验,越来越受到消费者欢迎。然而,由于360视频所占有的存储容量较大,以及用户频繁的视窗变化,向更多用户提供360视频流是一个具有挑战性的问题。为了减轻网络负担并进一步改善360视频传输,我们提出了一种新颖的边缘缓存分配方案,将所请求的内容放在终端用户附近。该方案通过组合(i)用于缓存视频的在线学习度量与过去请求的观察,以及(ii)识别用户的可能视窗内的哪些数据片首先缓存的策略来分配用于360视频传送的缓存资源。我们的实验表明,与传统的学习方法相比,所提出的方案可以显着减少网络通信量,并且优于所有的其他的相关工作。

【关键词】:Edge Cache;AR/VR;360视频;QoE

1 简介

360视频,也称为全景视频或沉浸式视频,将在不久的将来成为一个全球化的市场,到2024年市场份额将达到477 亿美元[6]。为了使360视频能够普及,网络基础设施需要有效地提供对于此类视频的支持。虽然推出5G将对360视频的普及有所帮助,但网络基础设施也需要更新[16]。一种解决方案是基于用户请求的视野(FoV)提供自适应流传输策略,其仅是整个360视频流的部分数据。例如,网络只能传输用户请求的FoV,或者降低相邻视图的分辨率以节省带宽。

为了实现这一点,360度视频在空间上分割成小数据切片(Tile),然后被分别压缩基于所述观看球中的相对位置。通过独立编码和传输每个数据切片来实现FoV自适应流传输。由于内容交付依赖于缓存基础设施[1],因此缓存需要考虑沉浸式视频流的特殊性。

之前的研究[17]已经表明,对于同一视频,用户的行为相对类似:大多数用户将注意力集中在相同的视频片段之上。因此,将最多请求的视频片段放置在边缘缓存(Edge Caching)中将减轻网络负担,减少访问延迟并为用户提供更好的沉浸式体验。这就是我们优化360视频的核心原则。对于360视频传送,由于涉及的因素数量多,选择要缓存哪些内容的任务尤其具有挑战性。这些包括数据切片中的请求模式和FoV,分辨率,缓存大小,源服务器位置和内容大小。我们提出了一种新的缓存分配框架,它区别于现有的缓存分配框架,因为它考虑了视频和视频中的图块的请求特征。该框架节省了计算开销,并且能够动态地适应异构请求模式。我们的方案分布在边缘并具有反应性(Reaction); 应该将其视为使用某些集中式内容放置算法(例如目前在CDN中使用的内容放置算法)的日常内容放置的补充。每个边缘高速缓存基于其观察到的请求来编译信息,并将该本地信息提供给高速缓存优化算法。该信息包括视频请求历史(频率和新鲜度)以及数据切片分布。我们观察到受欢迎程度会影响缓存策略,但FoV分布的传播也是如此:实际上,如果许多用户观看标题的相同几个图块,则只有这些图块需要缓存。但是,如果所有用户都请求相距很远的FoV,那么整个360视图都需要缓存。我们应用在线学习策略通过预测算法做出缓存决策。在本文中,我们的目标是最大化与网络流量减少相关的影响因素。为此,我们根据包含流行度的多模式度量(如在典型的缓存系统中)分配缓存空间,还为每个视频分配所需的缓存空间。据我们所知,这是第一个360视频缓存解决方案,它以这种方式同时考虑每个视频和每个磁贴的粒度。我们在本文中的主要贡献如下:

- 我们明确了缓存360视频的优化问题,并设计了一种有效且高效的缓存方案,该方案通过基于学习的方法利用访问因子的历史。该方案预测视频流行度而不需要对底层请求分布做任何假设,并提供全面的缓存分配策略。

- 我们设计了一个数据切片分配解决方案,以用户的体验质量(QoE)为主要目标。所请求的区块被分成多个组,并且高频区块将以高分辨率被高速缓存。与现有的基于区块的视频缓存相比,该解决方案能够显著的节省计算开销。

- 我们进行了全面评估,在各种设置下新设计的缓存方案。实验结果表明,与单因子缓存方案相比,我们的解决方案可以显着减少流量。此外,我们的实验还表明,当涉及QoE性能时,将数据切片划分为两个固定组是效果最好的。

2 背景及相关工作

2.1 用于360视频传输的边缘缓存

360视频通常使用一组摄像机拍摄,其视野(FoV)共同覆盖整个球体。从每个相机捕获的视频帧被缝合并投影到球体上,其进一步映射到作为360视频帧的平面格式。然后,压缩视频数据以进行传递。由于存在许多类型的终端设备(例如,VR眼镜,智能手机或台式机),因此应该存储具有不同投影方法的多个格式视图。此外,流式传输360视频所需的带宽远远大于常规视频所需的带宽。例如,传送4K 360视频的数据速率为400Mbps,而传送4K视频所需的速率约为25Mbps [4,18]。 

图1:360视频缓存的架构

为了减轻带宽紧缩,已经提出了感兴趣区域流(ROI)的概念。人眼具有有限的视口,并且只有主动观看的视图应以高分辨率传输,而其他视图则以低分辨率传输。因此,该思路也可以用在边缘高速缓存中,用于高速缓存从用户获得的流行ROI。有关支持边缘缓存的360视频传输架构的概述如图1所示。该体系结构由三个主要组件组成:内容服务器,传输和边缘缓存。内容服务器侧重于关注360视频流的生成,存储和准备。传输组件侧重于传输此类视频。最后,边缘缓存侧重于如何通过在客户端和服务器之间建立紧密的交互来满足360视频流的对于延迟的要求。

2.2 数据切片建模与视频建模

360视频缓存系统可以专注于缓存切片或视频。前者认为每个磁贴是独立的,并且可以缓存具有有限缓存容量的更流行的磁贴,而后者缓存整个视频导致一些浪费,而不请求一些数据切片。

最近的基于区块的缓存解决方案[9,10,12]已被建议用于节省缓存容量并提高缓存效率。但是,数据切片的尺寸总是很小,因此在数据切片上操作会增加很多开销。例如,当视频片段持续2秒时,20分钟360视频包含图块,并且应用6×4图块。如前所述,ROI已被选择性地用于流式传输360视频,用户只关注视频的特定部分。之前的一项研究[17]表明:1)大多数用户在360内容上获得了类似的投资回报率; 2)不同用户的投资回报率差异因视频内容而异。根据这一发现,我们观察到每个视频中的图块流行度可以通过样本统计来估计。

与现有文献不同,我们的工作通过独立考虑图块和视频来深入研究360度视频传输的缓存,从而降低模型复杂度并有效缓存视频。

3 系统模型

考虑在网络中具有附加高速缓存的边缘代理(例如,小区基站,ICN路由器)。在其高速缓冲存储器中,该节点可以存储来自一组视频V = {1,...,| 的360个视频的一部分 V |},其中我们假设所有的视频都是同样大小,所有视频都存储在远程内容服务器上。对于每个360视频文件,每个视频被切割成多个小片段,用于每个片段和片段的时间段。在本文中,我们假设所有视频遵循相同的配置,并且它们中的每一个包含H = N × M ×λ块,其中N × M 对应于数据切片的数量,并且λ对应于时间段的数量。因此,每个视频v 包含一个段阵列,可以表示为{ v (1),v (2),...,v (H )}

为了解决缓存问题,我们考虑一个在离散时间设置T = 1,2,...,T中工作的系统,其具有有限时间范围T ,其中在每个时间段t中顺序发生以下事件: (i)节点观察视频内容请求向量,该向量表征该时段中来自系统的用户需求; (ii)基于向量的特征,高速缓存节点刷新高速缓存的视频文件,并向附近的所有用户发送广播消息,用它们更新其内容列表。

为了向其附近的用户通知其可用视频,节点定期将此信息发送到转发网关。当用户请求高速缓存节点已存储的视频时,通过本地通信从节点检索视频。否则,用户直接从原始内容服务器下载视频,从而带来了高延迟和低质量的视频。为了利用缓存节点,我们的目标是优化缓存的视频,以便最大化由缓存节点直接服务的流量。

1)用户请求:在360视频传送中,来自用户的对单个视频的请求被序列化为具有不同图块标识的块,嵌入图块位置和时间段。我们用 来表示从集合中选择的视频v 的t -slot请求。因此,表示在时隙t 请求的视频v 。被记录作为用于视频的每个数据切片请求列表v ,其中是在时间段的请求段k的视频v 。

2)缓存策略:使用向量表示的缓存策略管理缓存,该缓存策略表示为时隙t中的视频v 分配的缓存容量的分数。在考虑高速缓存大小C之后,允许的高速缓存配置的集合M 是:

高速缓存策略σ是这样的规则:对于每个时隙t = 1,2,...,T 将过去的观察和配置映射到时隙t中的高速缓存分配。

3)奖励:由于缓存视频v 的大小是mv,并且我们假设使用缓存版本的奖励是,表示在缓存节点和用户端之间保存到源服务器的流量成本。当我们将此奖励与命中率相结合时,缓存视频v 的奖励就变为 。因此,这个问题可以表达如下:

其中T 是时间范围; 根据可能的随机化和最大化,最大化超过了允许的对手分布。我们寻求一种缓存策略σ,通过解决上述公式来最大化奖励。

证明。公式是从H?lder不等式推出的直接结果[4]。注意,奖励函数可以写为给定时隙t 。从而

然后,当且仅当如果,则发生相等

所以得证。

4 缓存分配解决方案

我们的框架由三个阶段组成:首先,它预测下一个时间范围内请求视频的可能性(4.1),它用于为视频制作缓存分配策略(4.2)。然后将此分配细化为切片分配(4.3)。

4.1 视频流行度预测

在本文中,我们专注于缓存360视频的数据,为网络提供低延迟和低数据冗余。我们在此开发的机制不需要更改数据包标头或修改网络中的任何现有协议。我们开发了内容放置方法,该方法通过集成从过去的视频请求中观察到的不同特征,在每个缓存节点内运行。我们可以理解为估计的视频流行度取决于其在不同维度上由请求特征判断的贡献。因此,由于特征点丰富,这种方法适用于在实践中应用。

我们面对的挑战是:如何使用传入的访问向量定义要素(用X 表示)。在本文中,我们关注预测的三个特征。过去的访问被认为对未来的普及提供了一些积极的影响,并且视频的两次连续访问之间的差距也是未来请求的指示。这两个特征也称为“频率”和“年龄”,它们在现有的高速缓存系统中被广泛采用。基于上述原则,我们采用自激点过程[11]来结合所有特征:

  

其中φ(t'- τ )是描述“新近度”影响的核函数。它是变量t' - τ 变化的非递增函数,表明视频需求会减少。变得新鲜度较低的数据。 则直观的表示访问的频率。

4.2 视频的缓存分配

解决我们问题的一个简单方法是将每个视频视为一个维度,并且可以直接应用现有的Bandit算法[15]。为了有效地分配缓存,我们提供了一种可以利用360视频结构特点的方法。

算法1:缓存分配策略

该方案的程序显示在算法1中。最初,算法为每个视频分配相等数量的C / V 缓存空间。在每个时隙,算法通过等式计算参数的估计。基于定理1,算法根据获得的结果进行分配。换句话说,每个视频获得缓存资源及其估计的未来流行度奖励。注意,缓存节点仅具有关于过去访问的有限信息,并且每个视频的请求分布X 是任意的。通过在开始时应用纯粹的开发阶段来找到最优政策是具有挑战性的。

为了保证收敛,使用概率探索-利用的方法来确定高速缓存分配。采样和分析之间的权衡由时隙t 的瞬时误差ε∈ (0,1)来平衡。ε的变化基于如下原则:如果奖励持续增加,则我们减少ε,这表示当前学习样本对于做出缓存决策是有效的,因此需要较少的采样。否则,我们增加ε以便缓存更多未检测到的(例如,新加入的视频)视频。等式如下所示:

其中dR / dt 表示奖励的变化率,κ> 0是常数,并且是勘探变量的下限。

4.3 平铺的缓存分配

由于用户的视窗在观看360视频时处于空间域中,理想情况下,缓存节点只能存储所需的图块而不是完整的视频以节省存储资源。在实践中,我们可以使用360视频中的显着性[14]和用户行为信息[17]来检测用于选择要缓存的图块的ROI 。这里,我们的目标是通过选择要缓存的特定区块来优化用户QoE,表示为H '(H '< H )。在360视频流的QoE分析中,不仅要考虑视频质量,还要考虑与质量转换感知相关的其他因素。根据视频v 的传入请求,我们可以轻松计算累积的视频质量: 。视频质量的例外转换是通过以下方式计算的 ,其中i 和k 是两个连续查看的图块。为了最大化视频质量并最大限度地降低视频质量转换,用户QoE的优化由下式给出:

根据之前的分析,我们需要确定视频质量和质量转换之间的平衡。为了解决这个问题,我们提供以下三种策略:

(1)统一分配:缓存节点将每个数据切片放置在相同的质量上。如果缓存节点可以服务于从客户端接收的所有请求,则该策略将具有数据切片转换中的最小频率。

(2)基于频率的分配:缓存节点根据其频率调整分配给每个数据切片的大小。通过这样做,每个数据切片被独立处理并具有其存储分辨率。这可能导致频繁的质量变化,但能够提供最佳的视频质量服务。

(3)静态分区分配:该策略允许平衡视频质量和数据切片质量转换之间的权衡。关键思想是使用常量参数来确定视频质量分区的数量。所选择的数据切片的频率范围也将被分成几个部分,用于将数据切片分配大小与数据切片频率进行映射。

首先,我们将每个瓷砖放置在相同的初始质量上。然后我们根据频率和大小的变化调整分配给每个图块的大小。通过这样做,每个图块被独立处理并具有其自己的存储分辨率。这可能导致频繁的质量变化,并导致用户的QoE降低。

为解决此问题,我们应用分层策略来分配缓存。首先,通过映射到球体的位置标识符(N ,M )对区块进行分组。然后,我们基于累积(聚合)流行度将缓存资源分配给每个组,并为每个数据切片分配一个临时值(对于数据切片i )。接下来,我们引入两个参数[Θ,θ],0 <Θ<θ来调整每个数据切片。对于两个连续的图块(在时间维度上),如果后一个临时值和前一个指定值之间的质量转换比率大于θ或小于Θ,(这表示观看者的运动改变或者没有显着改变切片大小)后一个时间值只是数据切片的指定值。否则,变化率将由Θ给出以限制尺寸变化。以下等式显示了调整方法:

在算法中给出了为每个数据切片分配高速缓存空间的算法。第2行是图块缓存分配的初始化步骤。请求频率计算在第6-10行中给出。第11-25行用于限制转换。此外,我们可以使用360视频中的显着性[12],如果该方法可用于缓存节点,则为每个图块分配资源。

5 实验

在本节中,我们对于提出的360视频传输缓存分配方案的有效性和性能,通过基于真实世界的跟踪模拟进行验证。总体而言,我们提出的算法能够有效减少网络流量,远远高于其他相关工作。我们使用带宽和系统中的用户数来评估资源分配的改进量。我们的缓存策略的性能通过与网络相关的多个变化参数来评估。

5.1 模拟环境和设置

我们基于支持DASH的平台[8]使用NS-3来实现基于沉浸式视频流的HTTP服务器,以评估大规模工作负载。

模拟包含700个视频,每个视频的图块分布由基于马尔可夫的工具[5]生成,可创建精确的合成轨迹。根据[3] 的结果,视频分为6×4块,以实现高效编码和带宽节省。因此,每个视频包含3,600个不同的图块,固定分段为4秒。另外,内容服务器上的每个视频片段的比特率可根据网络带宽进行调整。视频的工作量由GlobeTraff [7] 生成。作为性能测量,考虑三个不同的感兴趣参数:(i)缓存容量C ; (ii)内容人口V ; (iii)Zipf分布参数α。这些参数的默认设置为20%,400和0.8。将流量成本降低记录为评估度量。在本节中,我们通过针对众所周知基准的综合实验来评估我们的缓存分配方案(称为PLCS ),如下所述:1)随机缓存策略(随机):它在每个时隙随机更新缓存的视频。2)离线贪婪缓存策略(OGCS):它使用离线贪婪进行缓存分配,其ε将保持不变。在评估中将参数设置为ε= 0.01。3)频率缓存策略(FCS):它仅根据频率预测未来的请求流行度。4)年龄缓存策略(ACS):它仅在视频访问年龄的情况下预测未来的请求流行度。策略(3)和(4)分别等同于基于学习的LFU和LRU,因为高速缓存节点只能获得高速缓存视频的请求。方程式中的核函数为Eq。 用于模拟用户的行为。由于视频中的切片请求的分布在用户之间是相似的,因此我们省略了与基于切片的高速缓存方案的比较,这些方案需要更高的计算开销。 

图2:缓存容量变化的性能

图3:视频流行度变化的性能

5.2 缓存性能

(1)缓存容量的影响

节点的缓存容量是相对于网络中可用的所有对象的总大小的值。可以缓存更多所需内容的节点将具有更大的缓存容量。根据默认设置,我们将这个值从400个不同视频的总数的12%到30%进行评估,结果如图2中显示。

毫无疑问,由于可以缓存更多内容,因此五种方案的性能都随着相对缓存容量的增加而单调改善。我们提出的策略能够将流量减少76.8%,而随机缓存只能减少了58.2%。我们可以观察到,大多数策略的小缓存容量的利益边际增加更高(因为最先识别最流行的数据切片和视频)。在另一方面,随机缓存无视视频的流行度并且表现不同,所以以几乎线性的速率增长。

(2)视频流行度的影响

在这一部分中,我们进行实验以检查内容目录大小增加对缓存分配策略的有效性和可伸缩性的影响。这里,内容群体是指用户请求的不同视频的数量。

如图3所示,我们观察到,随着人口的增长,我们的方案仍然比其他四种基本方案实表现出更高的性能。从数字来看,我们的方案总是可以实现60%的流量减少,与其他方法相比具有明显的优势(其他中最优的最多62%的流量减少)。但是,可以观察到,当视频数量超过400时,性能变得更快。由于我们只将缓存容量设置为20%,因此请求的视频数量超出了缓存容量的范围。因此,随着流行度的增长,通信量的增加率会减小。

图5:不同工作负载的性能

(3)Zipf参数的影响

请求模式由Zipf偏斜度参数α控制,该参数α表示分布的集中度。当α增加时,少量视频将占据更大比例的请求。并且当α的值接近0时,表示每个视频的请求流行度几乎是均匀/均匀的。实际上,测量研究报告的区间[0.6,1.1]中的值,符合实际应用[13]。

在图5中,我们研究了α在0.6到1.0范围内的影响,这意味着请求模式正在集中。随着α增长,通信量减少量正在增加,这是非常正常的现象,因为少量内容获得相对较高比例的请求。因此,与图5相比,Zipf参数对缓存性能的影响更大。和图4与其他缓存策略相比,我们的解决方案始终在Zipf参数α的所有范围内提供最佳性能。具体来说,我们的方案平均减少了70%的流量。从图5中可以看出,当α大于0.95时,ACS 优于OGCS 。此外,当α持续增长时,我们的方案与ACS 或FCS 之间的差距变得更小,这意味着频率的特征变得越来越重要,因此单因素将能够预测未来的接入。请注意,对于正常情况下的网络流量,α通常约为0.75。

5.3 QoE结果

图6:不同磁贴分配策略的QoE性能

在这一部分,我们运行三种不同的磁贴分配策略,来探索质量分区的数量如何影响整体QoE性能。视频质量高,质量转换率低,表明QoE良好。基于频率的分配策略(FA)被设置为基准。由于某些低频磁贴已通过ROI检测进行过滤,因此我们仅提供从两个分区(SP2)到四个分区(SP4)的结果。相对QoE因子的表现如图1所示。随着质量分区数量的增加,视频质量和质量转换的结果也在不断攀升。如果我们设置了三个或更多质量分区,视频质量就会很高,而相对质量转换总是超过85%。该图显示使用固定的双分区策略将缓存空间分配给所选择的区块将在视频质量和质量转换频率之间获得令人满意的平衡。

6 结论

在本文中,我们研究了360视频流的缓存分配问题。与传统的视频缓存不同,我们在视频和视频数据切片两个维度上调研了缓存分配策略。在视频级别,我们通过在线学习算法预测最想要的视频,并根据预测结果分配缓存资源。接下来,因为块的流行度在不同用户之间趋于相似,我们基于数据切片的高速缓存分配策略优化了用户的QoE。我们在模拟器中实现了提出的算法,并与相关工作进行了比较。所提出的算法实现了比所有考虑的单因素缓存策略更好的性能,我们还从缓存容量,内容数量和流行度分布对于提出的方法进行了细致的分析。

【引用

[1] Coile?ain, D.O., O’mahony, D.: Accounting and accountability in content distribu- ? tion architectures: A survey. ACM Computing Surveys (CSUR) 47(4), 59 (2015)

[2] Cvetkovski, Z.: H¨olders inequality, minkowskis inequality and their variants. In: Inequalities, pp. 95–105. Springer (2012)

[3] Graf, M., Timmerer, C., Mueller, C.: Towards bandwidth efficient adaptive streaming of omnidirectional video over HTTP: Design, implementation, and evaluation. In: ACM MMsys. pp. 261–271. ACM (2017)

[4] He, D., Westphal, C., Garcia-Luna-Aceves, J.: Network support for AR/VR and immersive video application: A survey. In: ICETE SIGMAP (Jul 2018)

[5] He, D., Westphal, C., Jiang, J., Yang, G., Garcia-Luna-Aceves, J.: Towards tile based distribution simulation in immersive video streaming. In: IEEE/IFIP Networking (2019)

[6] Intelligence, M.: Ms windows nt kernel description. https://www. mordorintelligence.com/industry-reports/virtual-reality-market/

[7] Katsaros, K.V., Xylomenos, G., Polyzos, G.C.: GlobeTraff: a traffic workload generator for the performance evaluation of future internet architectures. In: New Technologies, Mobility and Security (NTMS), 2012 5th International Conference on. pp. 1–5. IEEE (2012)

[8] Kreuzberger, C., Rainer, B., Hellwagner, H., Toni, L., Frossard, P.: A comparative study of DASH representation sets using real user characteristics. In: Proceedings of NOSSDAV 2016 (2016)

[9] Liu, K., Liu, Y., Liu, J., Argyriou, A., Ding, Y.: Joint EPC and RAN Caching of Tiled VR Videos for Mobile Networks. In: International Conference on Multimedia Modeling. pp. 92–105. Springer (2019)

[10] Mahzari, A., Taghavi Nasrabadi, A., Samiei, A., Prakash, R.: FoV-aware edge caching for adaptive 360 video streaming. In: ACM Multimedia. ACM (2018)

[11] Mishra, S., Rizoiu, M.A., Xie, L.: Feature driven and point process approaches for popularity prediction. In: Proceedings of the 25th ACM International on Conference on Information and Knowledge Management. pp. 1069–1078. ACM (2016)

[12] Papaioannou, G., Koutsopoulos, I.: Tile-based caching optimization for 360 videos. In: MobiHoc. ACM (2019)

[13] Saino, L., Psaras, I., Pavlou, G.: Understanding sharded caching systems. In: INFOCOM. IEEE (2016)

[14] Sitzmann, V., Serrano, A., Pavel, A., Agrawala, M., Gutierrez, D., Masia, B., Wetzstein, G.: Saliency in VR: How do people explore virtual environments? IEEE transactions on visualization and computer graphics 24(4), 1633–1642 (2018)

[15] Vermorel, J., Mohri, M.: Multi-armed bandit algorithms and empirical evaluation. In: Machine Learning: ECML 2005. pp. 437–448. Springer Berlin Heidelberg (2005)

[16] Westphal, C.: Challenges in networking to support augmented reality and virtual reality. In: IEEE ICNC (Jan 2017)

[17] Xie, L., Zhang, X., Guo, Z.: CLS: A cross-user learning based system for improving QoE in 360-degree video adaptive streaming. In: 2018 ACM Conference on Multimedia. pp. 564–572. ACM (2018)

[18] Zink, M., Sitaraman, R., Nahrstedt, K.: Scalable 360 video stream delivery: Challenges, solutions, and opportunities. Proceedings of the IEEE (2019) 

(责编:刘扬、赵光霞)

分享让更多人看到

传媒推荐
  • @媒体人,新闻报道别任性
  • 网站运营者 这些"红线"不能踩!
  • 一图纵览中国网络视听行业
返回顶部