[发明专利]基于Q-Learning的SVC编码HTTP流媒体自适应方法

说明书

基于Q‑Learning的SVC编码HTTP流媒体自适应方法，首先构建Q‑Learning模型，将SVC编码的流媒体交互情境，构建状态集、行为集和回报函数，并选用探索策略，其次将构建好的Q‑Learning自适应算法在真实网络环境中进行离线学习，直到算法学习得到的知识收敛。最后将得到的模型进行在线部署，进行自适应决策。本发明具有提高在线观看基于SVC编码的自适应流媒体视频服务的QoE的优点。

技术领域

本发明属于信息技术领域，特别是动态自适应流媒体方法

背景技术

近年来，在线流媒体视频服务得到了广泛的应用。在线视频业务在整个因特网的流量正占据着越来越大的比重。可伸缩视频编码(Scalable Video Coding，SVC)能够克服高级视频编码(Advanced Video Coding，AVC)的冗余问题，在和AVC编码提供同等的视频质量的服务时，SVC编码能够比AVC编码节省200％-300％的服务端存储空间。因此,研究基于SVC编码的自适应流媒体技术对节约服务端存储资源，提供更高质量的流媒体视频服务有着极其重要的现实意义。

流媒体视频服务中，视频播放端最关键的技术就是自适应决策方法。目前，研究基于SVC编码的自适应方法主要分为两类，一类是根据SVC编码的片段进行自适应决策和另一类是根据SVC编码的层自适应决策。基于片段的自适应决策主要根据吞吐量或者缓存预测下一视频片段的质量等级，然后根据视频质量等级串行下载片段的基础层和增强层。基于吞吐量预测方法在带宽变化时会带来片段质量频繁切换的问题。基于缓存的预测方法则为了维持高缓存而一直下载较低质量等级的视频片段，引起观看视频的整体QOE偏低。现有的基于段的SVC编码决策方法在带宽的剧烈变化时，往往不能及时响应，造成视频卡顿。另一类方法是基于层进行决策，现有的这类方法主要有以下两种，①采用逐层下载的思想，首先保证基础层填满缓存区。其次，保证增强层第一层填满缓存区，直到所有的增强层都被下载完。每次下载片段层时，都要需要保证缓存中的更低等级的片段层被填满。该方法能够有效的保证视频的流畅播放，但是整个视频播放时质量会偏低。②每下载完一层基础层或增强层后会根据带宽变化来确定是否增加当前片段的质量或者填充新的片段的基础层以填充缓存区，这种方式虽然能够及时的响应带宽变化，但在缓存填充较多时，无法灵活的对已填充的片段进行质量提升，提升视频质量灵活性不强。

综合来看，现有的SVC编码的流媒体自适应方法中，主要存在以下两个问题：①基于SVC编码片段进行自适应的决策的方法无法及时响应带宽变化，会造成视频卡顿。②基于SVC编码片段层进行决策的方法对无法已填充的片段进行质量提升，造成整体QoE下降。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于Q-Learning的SVC编码HTTP流媒体自适应方法。

基于Q-Learning的SVC编码HTTP流媒体自适应方法，包括以下步骤：

1)将SVC编码的流媒体交互情境构建Q-Learning模型，需要构建状态集(States)、行为集(Actions)、回报函数(Reward function)，以及选择探索策略。构建强化学习的Q-Learning模型主要步骤如下：

(1.1)状态集(States)构建：选用带宽和缓存填充状态构建环境状态。客户端需要对带宽和缓存填充状态进行离散。

(1.1.1)定义带宽的最大值为BW_max,每个片段分割成M层，当处于第i层时，所需的最低带宽为thr_i(0≤i≤M),我们将带宽离散成{0～thr₀,thr₀～thr₁,…,thr_M-1～thr_M}，共M+1个状态。