[发明专利]基于三维卷积神经网络的通用型无参考视频质量评价算法

说明书

本发明公开了一种基于三维卷积神经网络的通用型无参考视频质量评价算法，该方法包括3DConvNets模型训练阶段和质量评价阶段两个部分。与现有技术相比，本发明的基于三维卷积神经网络的通用型无参考视频质量评价算法能够较为准确地评价多种失真类型，并且在面对不同视频库时保持稳定的评价准确度，性能稳定性好，并且质量评价的计算复杂度显著低于目前主流的无参考视频质量评价算法，评价速度更快。

技术领域

本发明涉及视频质量评价领域，特别是一种基于三维卷积神经网络的频质量评价算法。

背景技术

由于视频压缩技术和视频传输信道的限制，编码失真和传输失真会不可避免地引入到视频中，严重影响了视频服务用户的观看体验。主观评价方法对于测试人群、测试环境及统计方法等有非常严格的规定，实施难度较大。而客观评价方法中的无参考质量评价因为其不需要参考视频的优点，实用性较高。由于在实际系统中，视频往往包含多种失真类型，因此研究一种能够评价多种视频失真类型的通用型无参考视频质量评价算法逐渐成为热点。

Saad等对失真视频分别在像素域和DCT域提取参数的统计特征，再通过运动矢量计算整体运动特征和运动相干性特征，结合空间域和时间域特征评价视频质量，大大提高了仅用图像质量评价方法评价视频质量的准确度。

Li等通过对失真视频按视频块做三维DCT变换(3D-DCT)，提取变换后参数的分布形状、子带间比例和方向等时空域特征评价视频的失真程度。Li等人首先对失真视频块进行三维剪切波变换(3D Shearlet Transform)，提取变换后参数的初级统计特征，然后将特征输入一维卷积神经网络(1D CNN)中，得到性能更好的高层次特征评价视频质量。

Tran等提出了三维卷积神经网络模型3D ConvNets，该模型使用的是三维的卷积和池化算子，相较于二维卷积神经网络，能够更加高效地提取视频的时空域特征。

发明内容

本发明的目的是提出了一种基于三维卷积神经网络的通用型无参考视频质量评价算法，将该模型应用于视频质量评价中，通过在视频质量库上训练3D ConvNets，并在质量评价阶段使用3D ConvNets提取失真视频的时空域特征，旨在提高无参考视频质量评价与人眼主观评价的一致性。

本发明的一种基于三维卷积神经网络的通用型无参考视频质量评价算法，该算法包括3D ConvNets模型训练阶段和质量评价阶段两个部分，具体步骤如下：

所述3D ConvNets模型训练阶段的训练过程具体描述如下：

根据视频质量库中训练视频的主观评价分数，将训练视频按失真程度的不同分为10组，并且给这10组视频分配0,1,2,…,9共10个不同的标签，将这些带有标签的视频输入3D ConvNets中；

随机初始化3D ConvNets中卷积层、池化层和全连接层的各个权重及偏置参数，第一次迭代开始；输入视频在3D ConvNets中按视频块进行卷积和池化运算；前两个卷积层和池化层提取出的都是视频的低等级特征，后面卷积层、池化层以及全连接层提取的是视频的高等级抽象特征；

在3D ConvNets中经过一系列运算后，最后一层输出的10维特征向量及其对应的标签被输入进softmax with loss层中，在这一层里，首先利用softmax根据特征向量对输入视频分类，得到预测标签，然后将预测标签与输入的标签进行比较，计算损失Loss；

第一次迭代结束，通过反向传播根据Loss调整3D ConvNets中卷积层、池化层以及全连接层中的各个权重及偏置参数，之后开始第二次迭代；

不断进行迭代和反向传播调整权重及偏置参数，直到输出的Loss足够小为止，此时的3D ConvNets就是已经训练好的能够有效提取失真视频质量特征的卷积神经网络模型；

所述质量评价阶段的评价过程具体描述如下：