[发明专利]一种基于深度学习的无参考视频质量评价方法

权利要求书

1.一种基于深度学习的无参考视频质量评价方法，其特征在于包括如下步骤：

步骤(1).提取内容感知特征；

步骤(2).融合时域特征；

步骤(3).视频质量预测；

步骤(4).对内容感知特性提取网络、融合时域特征的双向GRU网络、视频质量预测模型以端到端的方式联合训练。

2.根据权利要求1所述的一种基于深度学习的无参考视频质量评价方法，其特征在于步骤(1)提取内容感知特征，具体实现如下：

1-1.利用预训练的卷积神经网络构建内容感知特征提取网络；所述的预训练卷积神经网络是利用ResNet网络在ImageNet上预先训练得到的图像分类模型构建成的网络，能够提取到既对内容感知又对失真敏感的特征；所述的内容感知特征提取网络包括一个预训练好的ResNet网络模型，1个空间全局平均池化层和1个全局标准差池化层；

1-2.内容感知特征提取网络的输入，将一个视频的所有帧作为ResNet的输入，提取每一帧的特征，输出T个深层语义特征图M_t，具体如下：

M_t＝ResNet(I_t) (1)

其中，t是下标，t＝1,2,3,...,T，T为视频的总帧数；I_t表示视频第t帧的图像；M_t表示视频第t帧所对应的深层语义特征图；

1-3.利用空间全局平均池化操作丢弃冗余信息；更进一步地利用全局标准差池化操作来保存变化信息，分别得到特征向量f_t^mean和f_t^std，最后将两者结合起来作为内容感知特征f_t，具体操作如下：

其中，GP_mean()表示空间全局池化操作，GP_std()表示全局标准差操作，f_t^mean和f_t^std是分别是经过空间全局池化和全局标准差操作得到的特征向量，表示将两个向量作拼接，f_t表示最终得到的内容感知特征。

3.根据权利要求2所述的一种基于深度学习的无参考视频质量评价方法，其特征在于步骤(2)所述的融合时域特征，具体方法如下：

采用双向GRU网络模块，融合时域特征于内容感知特征当中；该融合时域特征的双向GRU网络模块包括一个全连接层和一对GRU网络；

首先，由于得到的内容感知特征向量维度太高，会给训练模型增加难度，所以将内容感知特征向量输入到全连接层中，对特征向量进行降维操作，得到新的特征向量x_t，具体如下：

x_t＝W_fxf_t+b_fx (5)

其中，b_fx、W_fx分别表示单个FC层中的参数偏差和权重，f_t是内容感知特征；

其次考虑到前后视频帧的内容及质量对当前帧的质量具有影响，即所谓的时间依赖性；将新的特征向量分别以正序和倒序的顺序输入到GRU网络中，输出具有时空信息的特征向量h_t和h_t′，并将两者结合起来成为一个新的时空特征向量H_t，具体如下

h_t＝GRU(x_t,h_t-1) (6)

其中，是对特征x_t在第0维执行倒序操作得到的，即的第一帧的特征向量是x_t的最后一帧的特征向量，表示上一个隐藏状态，表示当前隐藏状态，表示将两个向量作拼接。