[发明专利]一种基于分层时空域特征表示的端到端无参考视频质量评价方法

权利要求书

1.一种基于分层时空域特征表示的端到端无参考视频质量评价方法，其特征在于，包括以下步骤：

对视频进行预处理：对视频进行预处理：将原始视频分割成不重叠的时间片段，并对时间片段进行切块，每一片段中相同位置的区域构成一个视频块；

对神经网络训练得到具有视频时空特征提取功能的第一网络模型，利用第一网络模型对输入的视频时间片段进行分阶段的特征提取；

对卷积神经网络和循环神经网络训练得到具有视频时空特征融合功能的第二网络模型，输入各阶段特征图到第二网络模型，得到各个阶段相同维度的特征向量；

利用训练得到的具有计算视频质量分数功能的第三网络模型，分别计算出各阶段质量分数，并结合第三网络模型中的注意力模型计算视频序列的全局质量分数。

2.根据权利要求1所述的基于分层时空域特征表示的端到端无参考视频质量评价方法，其特征在于，所述第一网络模型包含J个三维卷积层，J个广义除数归一化层以及J个最大池化层，每个阶段包括依次连接的三维卷积层、广义除数归一化层以及最大池化层；所述第一网络模型采用线性整流单元作为激活函数，J为总的阶段数。

3.根据权利要求1或2所述的基于分层时空域特征表示的端到端无参考视频质量评价方法，其特征在于，所述第一网络模型各阶段输出的特征为：

X_j＝CNN_j(X_j-1),j∈[1,2,…,J],

其中CNN_j表示第j阶段的三维卷积层，X_j表示第j个阶段的输出，J为总的阶段数。

4.根据权利要求1所述的基于分层时空域特征表示的端到端无参考视频质量评价方法，其特征在于，所述第二网络模型包括J个分支，每个分支包含若干个空域卷积层，若干个门控循环单元以及一个均匀池化层，激活函数采用线性整流单元，将各阶段的特征分别输入到个分支，得到每个分支的质量特征向量，其中，J为总的阶段数。

5.根据权利要求1或4所述的基于分层时空域特征表示的端到端无参考视频质量评价方法，其特征在于，输入各阶段特征图到第二网络模型，得到各个阶段相同维度的特征向量的具体过程为：

步骤31：使用依次连接的若干个空域卷积层进行空间特征融合，以获得维度一致的特征：

其中，Φ_j(·)代表若干个空域卷积层，表示第j个阶段中，时间片序号为k的特征图，表示第j个阶段中，空域信息融合后的时间片序号为k的特征向量；

步骤32：给定帧级特征使用全局最大池化层GP_max来获得有效的特征，并减少空间上的冗余，同时使用门控循环单元GRU，通过整合时间信息来细化帧级特征:

其中表示第j个阶段中，时域信息融合后的时间片序号为k的特征向量；

步骤33：使用均匀池化得到该阶段的时空信息融合后的特征向量

其中，K为时间片段总个数；

步骤34：对每个阶段特征重复步骤31-33，得到各个阶段相同维度的质量特征向量。

6.根据权利要求1所述的基于分层时空域特征表示的端到端无参考视频质量评价方法，其特征在于，所述第三网络模型包含J个用于阶段质量回归的全连接层，由两个全连接层、一个线性整流单元和一个S型生长曲线单元组成的注意力模型，以及一个用于全局质量回归的全连接层。

7.根据权利要求1或6所述的基于分层时空域特征表示的端到端无参考视频质量评价方法，其特征在于，计算视频序列的全局质量分数具体过程为：

步骤41：将各个阶段的质量特征向量分别输入到全连接层，得到视频各阶段的质量分数：

其中FC_j(·)表示阶段j的质量特征向量输入的全连接层，q_j为该阶段的质量分数；

步骤42：将各阶段的质量分数输入注意力模型得到相应的权值向量，得到对感知质量影响更大的特征，计算方式如下：

H＝h₁⊕h₂⊕…⊕h_j…⊕h_J,

H^W＝Sigmoid(FC_w2(ReLu(FC_w1(H)))),

其中，⊕代表连接操作，FC_w1(·)和FC_w2(·)表示全连接层，Sigmoid(·)和ReLu(·)分别表示线性整流函数和S型生长曲线函数，H、H^W分别表示特征向量和权值向量；

步骤43：将全局质量特征向量输入到全连接层，得到全局质量分数：

Q＝FC(H⊙H^W).

其中，⊙表示同位元素对应相乘。