[发明专利]一种基于分层时空域特征表示的端到端无参考视频质量评价方法

说明书

本发明公开了一种基于分层时空域特征表示的端到端无参考视频质量评价方法。首先，对视频进行预处理：将原始视频分割成不重叠的时间片段，并对其进行的切块，每一片段中相同位置的区域构成一个视频块，作为神经网络的输入；其次，训练神经网络：对输入的视频片段进行特征提取，输出一系列分阶段提取的时空特征图；然后，输入各阶段特征图到卷积神经网络和循环神经网络，得到相同维度的阶段质量特征向量；最后，分别计算出各阶段质量分数，并结合注意力模型计算视频序列的全局质量分数。本发明利用三维卷积层组成特征提取器，该网络能够有效提取时空特征，进而检测视频的降质模式。

技术领域

本发明涉及视频编码中的视频质量评价技术领域，具体为一种基于分层时空域特征表示的端到端无参考视频质量评价方法。

背景技术

在过去几年中，对视频服务的需求呈指数级增长。思科公司预测，在未来几年中，视频产生的数据流量将占全部网络数据流量的80-90％。随着通信技术的发展，有2/3的移动数据传输到各种多媒体移动设备，以满足消费者的需求。这种灵活的数字生活方式，要求无论消费者身在何处，都能随时的享受高品质的多媒体内容。

数字视频会在采集、处理、压缩、存储和传输过程中会受导致各种各样的失真，引起视觉质量下降，视频质量评估(Video QualityAssessment,VQA)的目的是预测视频的感知质量。一个好的质量评价方法不仅能自动、准确地评估视频的质量，还能实时监控、指导参数更新、优化算法，进而更好地为视频传输服务。

宏观来说，视频质量评价方法分为三种：全参考(Full Reference,FR)、半参考(Reduced Reference,RR)、无参考(No Reference,NR)。视频的无参考质量评价方法是在原始无损视频不可使用时评价失真视频客观质量的方法，因此，此类方法的研究难度较大：1)单帧图像的失真取平均值精度差；2)缺乏对运动导致的空间失真的感知；3)时空伪影之间的相互作用难以估计。

发明内容

为克服现有技术的不足，本发明的旨在有效地融合视频时空域特征，建立一种性能优异的基于深度学习及分层时空域特征表示的无参考视频质量评价方法。此评价方法更加准确高效，合理地利用了神经网络中间层的语义信息，并且能够作为一个端到端整体架构进行共同优化。

为实现上述目的，本发明的技术方案是：一种基于分层时空域特征表示的端到端无参考视频质量评价方法，包括以下步骤：

对视频进行预处理：对视频进行预处理：将原始视频分割成不重叠的时间片段，并对时间片段进行切块，每一片段中相同位置的区域构成一个视频块；

对神经网络训练得到具有视频时空特征提取功能的第一网络模型，利用第一网络模型对输入的视频时间片段进行分阶段的特征提取；

对卷积神经网络和循环神经网络训练得到具有视频时空特征融合功能的第二网络模型，输入各阶段特征图到第二网络模型，得到各个阶段相同维度的特征向量；

利用训练得到的具有计算视频质量分数功能的第三网络模型，分别计算出各阶段质量分数，并结合第三网络模型中的注意力模型计算视频序列的全局质量分数。

优选的，所述第一网络模型包含J个三维卷积层，J个广义除数归一化层以及J个最大池化层，每个阶段包括依次连接的三维卷积层、广义除数归一化层以及最大池化层；所述第一网络模型采用线性整流单元作为激活函数。

优选的，所述第二网络模型包括J个分支，每个分支包含若干个空域卷积层，若干个门控循环单元以及一个均匀池化层，激活函数采用线性整流单元，将各阶段的特征分别输入到个分支，得到每个分支的质量特征向量，其中，J为总的阶段数。

优选的，所述第三网络模型包含J个用于阶段质量回归的全连接层，由两个全连接层、一个线性整流单元和一个S型生长曲线单元组成的注意力模型，以及一个用于全局质量回归的全连接层。