[发明专利]基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法

说明书

本发明提出一种基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法，首先，对失真屏幕内容图像数据集中的数据进行数据预处理；训练基于多尺度边缘特征融合的图像质量评分预测网络，得到无参考屏幕内容图像质量评分预测模型；所述基于多尺度边缘特征融合的图像质量评分预测网络使用支持双源输入的孪生网络对输入的失真图像和对应的边缘结构图进行多尺度特征提取和特征融合；再使用Transformer编码器模块以形成不同尺度特征的全局信息表示；最后将失真图像和对应的边缘结构图输入，输出失真图像的质量评估分数。从而有效提高无参考屏幕内容图像质量评估模型的性能。

技术领域

本发明属于图像处理、计算机视觉技术领域，尤其涉及一种基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法。

背景技术

随着云计算、移动互联网以及物联网等技术的快速发展，多客户端交互等多媒体应用场合逐渐增多，由此产生的大量屏幕内容图像已经受到了人们的广泛关注。与从现实场景中拍摄的传统自然图像不同，屏幕内容图像通常由计算机生成的内容组成，包括图像、文本、表格和图案等媒体形式，有时还包括传统的自然图像内容。此外，屏幕内容图像通常具有一些与自然图像不同的特征，前者往往具有更高或更低频率的内容，例如大的平滑区域和尖锐的文本或边缘，并且高饱和度颜色、重复图案等也是屏幕内容图像的典型特征。通常屏幕内容图像在采集、传输、编码和显示等过程中会受到各种失真因素的作用，使得图像质量呈现不同程度的下降，从而影响到用户体验和系统交互性能。因此，在各种屏幕图像的处理应用中为其设计有效准确的质量评价方法极其重要。

根据质量评价过程中所需参考图像信息量的不同，目前图像质量评价的方法主要分为三类：全参考型，半参考型以及无参考型。由于现实生活中我们往往无法获取原始屏幕图像的参考信息，因此对于无参考图像质量评价算法的研究更具有现实意义，同时难度较全参考和半参考方法也更大。对于统计特征突出的屏幕内容图像而言，传统的质量评价方法都是基于一些精心选择的特征构建的，学者手工设计提取屏幕内容图像中的相关特征，再结合有效的机器学习算法将图像特征表征为一个质量评估分数。但传统的质量评价方法比较依赖于手工提取的特征的有效性，而且所提取的特征具有一定的局限性，在图像信息的利用率和模型性能的提升上受到了限制。

近年来，卷积神经网络在图像处理等任务上展现了强大的学习能力和卓越的性能，吸引了不少学者进行屏幕内容图像质量评估的深度学习方法研究。虽然使用深度学习方法比传统的质量评价方法取得了更大的进展和突破，但已有的无参考方法实际评估效果与主观感知一致性较低，且往往忽视了图像自身存在的深层隐含特征。

发明内容

为了弥补现有技术的空白和不足，本发明提出一种基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法，考虑到屏幕内容图像中包含大量锐利的边缘和文本信息，而人类视觉系统对图像的边缘结构等高频信息的变化高度敏感这一特性，提出了融合多尺度失真图像特征及图像边缘结构特征的学习策略，以图像的边缘结构信息来为模型训练提供额外的信息增益，同时引入了Transformer模型进一步建模从卷积神经网络提取的多尺度图像特征的非局部相关性，从而有效提高无参考屏幕内容图像质量评估模型的性能。

本发明具体采用以下技术方案：

一种基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法，其特征在于，包括以下步骤：

首先，对失真屏幕内容图像数据集中的数据进行数据预处理，利用高斯拉普拉斯算子在每幅失真图像的灰度图上进行图像边缘特征提取，生成对应失真屏幕内容图像数据集的边缘结构图数据集，然后将两个数据集按照统一的方式划分为训练集和测试集；

训练基于多尺度边缘特征融合的图像质量评分预测网络，得到无参考屏幕内容图像质量评分预测模型；

所述基于多尺度边缘特征融合的图像质量评分预测网络使用支持双源输入的孪生网络对输入的失真图像和对应的边缘结构图进行多尺度特征提取和特征融合；