[发明专利]基于时空多尺度分析的无参考视频质量评价方法

说明书

本发明提出了一种基于时空多尺度分析的无参考视频质量评价方法，实现步骤为：获取训练样本集和测试样本集；构建基于时空多尺度分析的无参考视频质量评价模型；对无参考视频质量评价模型进行迭代训练；获取无参考视频的质量评价结果。本发明在对无参考视频质量评价模型进行训练和获取质量评价结果的过程中，时空多尺度模块通过下采样得到不同尺度的帧序列局部时空失真特征，时空注意力分析模块对得到的时空失真特征的显著性进行分析，进而获取更为准确待测视频的全局质量表示，避免了现有技术中因为缺失帧序列的失真信息导致视频质量评价准确度较低的技术问题，有效地提高了复杂的无参考多种帧率视频质量评价准确度。

技术领域

本发明属于视频处理技术领域，涉及一种视频质量评价方法，具体涉及一种基于时空多尺度分析的无参考视频质量评价方法，可用于对视频质量的改善进行指导。

背景技术

近几年，随着视频技术的飞速发展，数字视频已越来越多地进入人们的工作和日常生活中。通常，视频需经过采集、压缩、传输和解压缩等处理阶段，而在这些处理阶段中，视频往往会产生一些失真现象，这些失真都会造成视频质量的降低。因此，寻找一个准确有效的视频质量评价方法，以指导改善视频质量变得尤为重要。

视频质量评价方法根据对原始视频信息的依赖程度可分为三种：全参考视频质量评价方法、部分参考视频质量评价方法和无参考视频质量评价方法。全参考视频质量评价方法是指把原始参考视频与失真视频在每一个对应帧中的每一个对应像素之间进行比较。部分参考视频质量评价方法则是针对一个视频传输系统，在发送端提取原始视频的一些统计特征，将其通过辅助信道传送到该系统的接收端，并与接收端得到的失真视频的对应特征进行比较，以获得相应的视频质量评价分数。无参考视频质量评价方法则不需要原始视频的任何先验信息，通常使用参考视频或者相应特征的估计值，直接对失真视频进行质量评价，这种方法体现了人类的智能。

无参考视频质量评价方法由于具有灵活性高、实时性好、成本低且不需要任何原始视频信息等优点，成为了视频质量评价领域的研究热点，也是目前发展空间最大、最具实际应用价值的评价方法。传统的无参考视频质量评价方法在面对传统的标准24帧/秒或30帧/秒的视频时有着较好的评价效果，但因为其并未考虑帧速率对人类视频质量感知的影响，使得视频质量评价模型在面对多种帧率视频尤其是高帧率视频的时候，评价效果大打折扣。

为了避免忽略时域失真特征，导致传统的无参考视频质量评价方法无法很好地面对多种帧率视频，基于时空特征信息的无参考视频质量评价方法应运而生，例如，申请公布号为CN112784698A，名称为“一种基于深层次时空信息的无参考视频质量评价方法”的专利申请，该发明利用Resnet-50预训练的深度神经网络，提取顶层的语义层特征后对特征图进行均值聚合与标准差聚合，然后分别从两个方面对时间记忆效应进行建模，在特征整合方面，采用GRU网络对长期依赖关系进行建模，在质量聚合方面，提出主观启发的时间池化模型并将其嵌入到网络中。但是其存在的缺陷在于，该发明仅提取了一个尺度的时空失真特征，获取的失真信息并不足够丰富，导致对于复杂的多种帧率视频的评价准确度仍有所欠佳。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于时空多尺度分析的无参考视频质量评价方法，用于解决现有技术中存在的失真信息不够丰富导致视频质量评价准确度较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取训练样本集X_train和测试样本集X_test：