[发明专利]视频质量评估方法及其装置、设备、介质

说明书

本申请涉及图像识别技术领域中一种视频质量评估方法及其装置、设备、介质，所述方法包括：获取视频流中的连续多个图像帧，将其格式化为标准化数据；采用预先训练至收敛状态的视频质量评估模型中的图像特征提取网络提取出所述标准化数据相对应的多通道的图像特征信息；由该评估模型的特征显化网络将所述图像特征信息进行不同方式的池化操作，提升所述图像特征信息中通道之间的显著特征的权重，获得显著特征信息；由该评估模型的分类网络根据所述显著特征信息进行分类映射，获得所述多个图像帧相对应的质量评分。本申请能够实现高鲁棒性的视频质量评估。

技术领域

本申请涉及图像识别技术领域，尤其涉及一种视频质量评估方法及其相应的装置、计算机设备、以及计算机可读存储介质。

背景技术

视频质量评估是自从视频出现之后就在学术界与工业界一直研究的方法，主要分为有参考评估与无参考评估。有参考评估根据给出的参考视频，逐帧对比效果差异，从而可以较容易得到一个相对准确的评估分数。视频无参考评估是一种对当前视频质量给出用户主观体验优劣分数的方法，根据无参考评估的分数可以动态调整网络传输的码率、帧率、分辨率等质量指标以达到控制成本的目的。通过调整，用户主观视频观感体验基本无影响，如此实现既满足用户需求，又能变相节省网络传输资源，可见能够带来相当可观的经济效益。

无参考评估方法的难度是非常大的，传统算法在无参考视频评估中只能发挥很有限的能力，直到近年来人工智能的高速发展，以CNN(Convolutional Neural Network)作为基础的无参考视频评估方法得到重视与高速发展，成为主要研究与应用方向。业界通过很多不同的技术方案尽量保证模型的适应性和高可用性，但是多数没有考虑模型应对不同视频输入时，可能面对无法避免的视频内容上的差异，无法针对不同的视频内容进行相应的无参考评估，导致模型的鲁棒性不足，比如，应用针对体育赛事的视频无参考评估模型于体育赛事直播，在直播过程中插入体育无关的广告视频，此时模型的有效性就会大幅度下降，从而引起鲁棒性变差。

基于传统技术的不足，本申请进行相应的探索。

发明内容

本申请的目的在于解决上述问题至少之一而提供一种视频质量评估方法及其相应的装置、计算机设备、计算机可读存储介质。

适应本申请的各个目的，采用如下技术方案：

一方面，适应本申请的目的之一而提供一种视频质量评估方法，包括如下步骤：

获取视频流中的连续多个图像帧，将其格式化为标准化数据；

采用预先训练至收敛状态的视频质量评估模型中的图像特征提取网络提取出所述标准化数据相对应的多通道的图像特征信息；

由该评估模型的特征显化网络将所述图像特征信息进行不同方式的池化操作，提升所述图像特征信息中通道之间的显著特征的权重，获得显著特征信息；

由该评估模型的分类网络根据所述显著特征信息进行分类映射，获得所述多个图像帧相对应的质量评分。

进一步的实施例中，由该评估模型的特征显化网络将所述图像特征信息进行不同方式的池化操作，提升所述图像特征信息中通道之间的显著特征的权重，获得显著特征信息，包括如下步骤：

将所述图像特征信息分成两路，分别输入所述特征显化网络的两个支路的池化层中执行不同类型的池化操作，获得相应的采样特征信息；

在所述两个支路中，分别应用注意力层对相应的采样特征信息进行权重提取，以增强其中的显著特征与非显著特征之间的数值差距，获得相应的提权特征信息；

将两个支路的提权特征信息拼接后进行归一化，获得显著特征信息。

进一步的实施例中，由该评估模型的分类网络根据所述显著特征信息进行分类映射，获得所述多个图像帧相对应的质量评分，包括如下步骤：