[发明专利]一种基于短时时空融合网络和长时序列融合网络的无参考视频质量评价方法

说明书

本发明公开了一种基于短时时空融合网络和长时序列融合网络的无参考视频质量评价方法，将视频帧依次通过两种计算不同时间长度的网络来实现质量的预测。短时时空融合网络用于提取并融合当前帧的时空特征，得到当前帧中时间特征作用于空间特征后的结果。长时序列融合网络用于在先验知识的指导下对一段时间内各帧之间相互作用的结果进行建模并预测视频的质量分数。本方法以视频帧作为输入，通过在帧级别上设计网络从而融合时间和空间特征，在序列级别上考虑帧间关系从而进一步细化当前帧特征的方式，利用深度学习预测一段视频中各帧的质量，最终完成对视频整体质量评价的任务。本发明由于细化且丰富了视频帧的特征，因此在模型性能上有了显著提高。

技术领域

本发明涉及一种基于短时时空融合网络和长时序列融合网络的无参考视频质量评价方法，属于数字视频处理技术领域。

背景技术

视频作为视觉信息的一种复杂来源,蕴含了大量的有价值信息。视频质量的好坏直接影响到人们的主观感受和信息量获取,并且可以指导相关设备研发、系统监测、质量恢复等其他视频任务，视频质量评价(Video Quality Assessment,VQA)的研究也在近几年受到广泛的重视。

视频质量评价方法可以分为主观评价方法和客观评价方法。主观评价是由观察者对视频质量进行主观评分，虽然评分结果符合人的主观感受但同时具有工作量大、耗时长等缺点；客观评价方法是由计算机根据一定算法计算得到视频的质量指标，根据评价时是否需要参考视频又可以分为全参考(Full Reference,FR)、半参考(部分参考)(ReducedReference,RR)和无参考(No Reference,NR)这三类评价方法：

(1)全参考视频质量评价方法。FR算法是指在给定理想视频作为参考视频的标准下，比较待评价视频与参考视频之间的差异，分析待评价视频的失真程度，从而得到待评价视频的质量评估结果。常见的FR方法的有：基于视频像素统计的视频质量评价(主要有峰值信噪比和均方误差)、基于深度学习的视频质量评价、基于结构信息的视频质量评价(主要为结构相似度)。FR算法是目前为止在客观视频质量评价中最可靠的方法。

(2)半参考视频质量评价方法。RR算法是指提取参考视频的部分特征信息作为参考，对待评价视频进行比较分析，从而得到视频的质量评估结果。常见的RR算法主要为：基于原始视频特征的方法和基于Wavelet域统计模型的方法。

(3)无参考视频质量评价方法。NR算法是指在没有理想视频的情况下，对待评价视频进行质量评估的方法。常用的NR算法主要为：基于自然场景统计的方法、基于深度学习的方法。

针对视频在获取、处理、传输和记录的过程中，由于成像系统、处理方法、传输介质和记录设备等不完善，加之物体运动、噪声干扰等原因所造成的失真和降质，视频在正式使用之前往往需要进行质量衡量。在不使用人力资源和参考视频的情况下直接由失真视频得到其质量的方法称为客观无参考视频质量评价。

中国专利CN201811071199.1公开了一种基于层级特征融合网络的无参考图像质量评价方法，主要解决现有技术精度低、速度慢的问题。其实现方案是：从MSCOCO数据集挑选参考图像并通过添加噪声建立污染图像数据库；对训练集图像和测试集图像同时进行去均值与裁剪；根据人类视觉系统从局部特征到全局语义的分层次处理机制，设计一个进行端到端联合优化的层级特征融合网络模型；利用训练集和测试集对层级特征融合网络模型进行训练；对待评测图像进行去均值与裁剪处理，将处理后的图像输入训练好的层级特征融合网络模型，获得图像质量预测分值；由此提高无参考质量评价的精度与速度，可用于图像筛选、压缩、视频质量监控。