[发明专利]QoE驱动下的联合资源分配的点云视频自适应传输方法

权利要求书

1.一种QoE驱动下的联合资源分配的点云视频自适应传输方法，是应用于由一个点云视频服务器，一个点云播放客户端所组成的网络环境中；所述点云视频服务器和点云播放客户端之间是通过下行链路传输；所述下行链路中包含从点云播放客户端到点云视频服务器的反馈信道；其特征是，所述点云视频自适应传输方法按如下步骤进行：

步骤一、将一个包含F帧的点云视频在时间上划分成T个帧组，记为{G₁,G₂,...,G_t,...,G_T}，其中，G_t表示点云视频中第t个帧组，1≤t≤T；

将第t个帧组G_t在空间上切分成数目为K＝L×L×L的切块，其中，L是在D×D×D的点云空间中每个维度划分的区间长度，其中，D为点云视频的采样深度；

将切分后的每个切块均压缩成R种码率等级的切块，其中，第t个帧组G_t的第k个切块经过压缩后得到的切块集合，记为其中，表示第t个帧组的第k个切块经过压缩后得到的第r种码率等级的切块，1≤r≤R，1≤k≤K；将切块集合通过解码器得到对应的重构形式切块集合，记为其中，表示第t个帧组的第k个切块的第r种码率等级的切块所对应的重构形式切块，从而将点云视频中所有帧组的切块进行处理后，存储在所述点云视频服务器中；

令切块集合中每个切块所包含的点个数为{P_t,k,1,P_t,k,2,...,P_t,k,r,...,P_t,k,R}，其中，P_t,k,r表示第t个帧组G_t的第k个切块经过压缩后得到的第r种码率等级的切块所包含的点个数；

令切块集合中每个切块的数据量为{S_t,k,1,S_t,k,2,...,S_t,k,r,...,S_t,k,R}，其中，S_t,k,r表示第t个帧组G_t的第k个切块经过压缩后得到的第r种码率等级的切块的数据量：

令切块集合中每个切块所需的解码时间为{C_t,k,1,C_t,k,2,...,C_t,k,r,...,C_t,k,R}，其中，C_t,k,r表示第t个帧组G_t的第k个切块经过压缩后得到的第r种码率等级的切块所需的解码时间；

步骤二、建立以最大化用户观看体验QoE的值作为最优化的目标函数，并设置相应的约束条件，从而建立点云视频的自适应传输模型；

步骤2.1、利用式(1)构建目标函数：

式(1)中，Q_t,k表示第t个帧组G_t的第k个切块的质量，并有：

式(2)中，p_t,k表示第t个帧组G_t传输至点云播放客户端时，用户视角距离第k个切块的距离，r表示质量等级；x_t,k,r是自适应传输模型的码率决策变量，当x_t,k,r＝1时，表示第t个帧组的第k个切块以质量等级为r的码率进行传输，当x_t,k,r＝0时，表示第t个帧组的第k个切块不以质量等级为r的码率进行传输；QT_t,k表示第t个帧组的第k个切块的相对点数比重，并有：

式(3)中，N_t,k,R表示第t个帧组G_t的第k个切块在质量等级为R时所包含的点数；

步骤2.2、利用式(4)-式(5)构建约束条件：

式(4)表示任意第t个帧组的第k个切块只能选择一种质量等级传输到点云播放客户端；

式(5)中，Tb_t表示第t个帧组完全进入缓存模块时的缓存大小，Tb_t大于0表示保证缓存中的内容不为空，并有：

式(6)表示第t个帧组时刻的缓存大小与第t-1个帧组时刻的缓存大小的关系，当t＝1时，Tb_t-1＝b，b表示点云视频开始播放前点云播放客户端中缓存的大小；其中，Tu_t表示第t个帧组G_t从点云服务器开始传输到完成解码的时间，并有：

式(7)中，BW_t表示第t个帧组G_t传输至点云播放客户端时的下行信道的带宽；e_t,k表示第t个帧组G_t的第k个切块在下行信道中的传输形式，e_t,k是自适应传输模型中的形式决策变量，当e_t,k＝1时，表示服务器将切块传输到客户端，当e_t,k＝0时，表示服务器将切块传输到客户端；v_t,k表示第t个帧组的第k个切块是否在用户视角内，如果在，则v_t,k取1，否则，v_t,k取0；F表示帧组内包含的帧数，FPS表示视频每秒播放的帧数，C_t,k,r表示第t个帧组G_t的第k个切块经过压缩后得到的第r种码率等级的切块解码所需的计算资源；CU表示客户端能同时解码的切块的数目；

将式(6)简化为式(8)：

Tb_t-Tb_t-1＝f(x_t,k,r,e_t,k) (8)

式(8)中，f(x_t,k,r,e_t,k)表示从第t-1个帧组G_t-1进入缓存到第t个帧组G_t进入缓存所经过的时间，且

利用式(9)得到约束条件：

步骤三、利用KKT条件和混合分支定界法对点云视频自适应传输模型进行求解，得到所述网络环境中下行链路传输的决策变量；

步骤四、所述点云视频服务器根据用户视角，计算第t个帧组的第k个切块是否在用户视角内，如果在视角外，则不传输相应切块，并将用户视角参数v_t,k,r标记为“0”，否则，表示传输相应切块，并将用户视角参数v_t,k,r标记为“1”，从而得到用户视角参数集合{v_t,k,1,v_t,k,2,...,v_t,k,r,...,v_t,k,R}，其中，v_t,k,r表示第t个帧组G_t的第k个切块是否传输；

步骤五、所述点云视频服务器根据网络环境中带宽大小和设备性能，决定第t个帧组G_t的第k个切块的质量等级变量x_t,k,r以及传输形式变量e_t,k的值，并在点云视频服务器中选择已存储的相应切块传输到客户端；

步骤六、所述点云播放客户端接收到第t个帧组G_t的所有切块后，首先进行分组，将压缩形式和重构形式的切块进行分类，其中，压缩形式的切块进入解码器中进行解码并得到重构形式的切块，再进入所述点云播放客户端中的融合模块；而重构形式的切块直接进入所述融合模块；当第t个帧组G_t的所有切块均进入所述融合模块后，由所述融合模块合成一个完整帧组的点云视频；

步骤七、所述融合模块将完整帧组的点云视频传输给所述点云播放客户端的缓存模块，当所述缓存模块中的帧组数目达到N时，所述缓存模块将N个帧组输出渲染模块中进行渲染处理后，输入至显示模块，从而播放经过QoE优化后的点云视频。

2.根据权利要求1所述的点云视频自适应传输方法，其特征是，所述步骤三是按如下过程进行：

步骤3.1、对所述点云视频的自适应传输模型中的码率决策变量x_t,k,r和形式决策变量e_t,k进行松弛操作，分别得到[0，1]范围内的连续码率决策变量x′_t,k,r和形式决策变量e′_t,k；

步骤3.2、根据式(4)和式(9)的约束条件，将记为函数h₁(x_t,k,r)；

将记为函数g₁(x_t,k,t,e_t,k)；从而利用式(10)计算松弛后的点云视频的自适应传输模型的拉格朗日函数L(x_t,k,r,e_t,k,λ,μ)：

L(x_t,k,r,e_t,k,λ,μ)＝-QoE+λ₁h₁(x_t,k,r)+μ₁g₁(x_t,k,r,e_t,k) (10)

式(10)中，λ表示式(4)所示的约束条件的拉格朗日系数，μ表示式(9)所示的约束条件的拉格朗日系数；λ₁表示函数h₁(x_t,k,r)的拉格朗日系数，μ₁表示函数g₁(x_t,k,t,e_t,k)的拉格朗日系数；

步骤3.3、根据式(10)的拉格朗日函数L(x_t,k,r,e_t,k,λ,μ)，得到如式(11)-式(16)所示的松弛后的点云视频的自适应传输模型的KKT条件：

h₁(x_t,k,r)＝0 (13)

g₁(x_t,k,t,e_t,k)≤0 (14)

λ₁≠0,μ₁≥0 (15)

μ₁g₁(x_t,k,t,e_t,k)＝0 (16)

对式(11)-(16)进行求解，得到松弛后的点云视频自适应传输模型的最优解χ_relax和最优的总效用值Z_relax；其中，最优解χ_relax包括码率决策变量x_t,k,r和形式决策变量e_t,k的松弛最优解；

步骤3.4、以最优解χ_relax和最优总效用值Z_relax作为分支定界法的初始输入参数；

步骤3.5、定义所述分支定界法中分支迭代次数为k′，定义所述分支定界法中最优总效用值的下界为L，定义所述分支定界法中最优总效用值的上界为U；

步骤3.6、初始化k′＝0；

步骤3.7、初始化L＝0；

步骤3.8、初始化U＝Z_relax；

步骤3.9、用χ_k′表示第k′次分支的最优解，并将对应的总效用值记为Z_k′，再把最优解χ_relax的值代入第k′次分支的最优解χ_k′，并以第k′次分支的最优解χ_k′作为根节点，从而进行步骤3.10的处理；

步骤3.10、判断第k′次分支的最优解χ_k′中是否存在不符合0-1约束条件的解，若存在，则将第k′次分支的最优解χ_k′中的松弛最优解分为符合0-1约束条件的解和不符合0-1约束条件的解χ_k′(0,1)，并执行步骤3.11；否则，表示第k′次分支的最优解χ_k′是非松弛点云视频自适应传输模型的最优解；

步骤3.11、在(0，1)范围内随机产生一个第k′次分支的随机数ε_k，并判断0＜χ_k′(0,1)＜ε_k是否成立；若成立，则将约束条件“χ_k′(0,1)＝0”加入到非松弛点云视频自适应传输模型中，形成第k′次分支的子分支I；否则，则将约束条件“χ_k′(0,1)＝1”加入到非松弛点云视频自适应传输模型中，形成第k′次分支的子分支II；

步骤3.12、利用KKT条件求出第k′次分支的子分支I和子分支II的松弛解，并作为第k′+1次分支的最优解χ_k′+1，并计算出第k′+1次分支的最优解χ_k′+1的最优总效用值Z_k′+1；

步骤3.13、判断第k′+1次分支的最优值χ_k′+1是否符合0-1约束条件，若是，则从所述最优总效用值Z_k′+1中找出最大值并赋值给L，且χ_k+1∈{0,1}；否则，从所述最优总效用值Z_k′+1中找出最大值并赋值给U，且χ_k′+1∈{0,1}；

步骤3.14、判断Z_k′+1＜L是否成立；如果成立，则剪掉第k′+1次分支的最优解χ_k′+1所在的分支，并将k′+1赋值给k′后，返回步骤3.10；否则，执行步骤3.15；

步骤3.15、判断Z_k′+1＝L是否成立，若成立，则表示获得非松弛点云视频自适应传输模型的最优解即为第k′+1分支的最优解χ_k′+1，并将χ_k′+1赋值给非松弛点云视频自适应传输模型的最优解χ_0-1，将χ_k′+1所对应的Z_k′+1赋值给非松弛点云视频自适应传输模型的最优总效用值Z_0-1；否则，将k′+1赋值给k′后，返回步骤3.10。