[发明专利]基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法

权利要求书

1.一种基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法，其特征在于，包括以下步骤：

首先，对失真屏幕内容图像数据集中的数据进行数据预处理，利用高斯拉普拉斯算子在每幅失真图像的灰度图上进行图像边缘特征提取，生成对应失真屏幕内容图像数据集的边缘结构图数据集，然后将两个数据集按照统一的方式划分为训练集和测试集；

训练基于多尺度边缘特征融合的图像质量评分预测网络，得到无参考屏幕内容图像质量评分预测模型；

所述基于多尺度边缘特征融合的图像质量评分预测网络使用支持双源输入的孪生网络对输入的失真图像和对应的边缘结构图进行多尺度特征提取和特征融合；

再使用Transformer编码器模块以形成不同尺度特征的全局信息表示；

最后将失真图像和对应的边缘结构图输入到训练好的基于多尺度边缘特征融合的图像质量评分预测网络模型中，输出失真图像的质量评估分数。

2.根据权利要求1所述的基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法，其特征在于，所述对失真屏幕内容图像数据集中的数据进行数据预处理具体包括以下步骤：

步骤S11、根据高斯拉普拉斯算子构建窗口大小为H×W、标准差为σ的高斯拉普拉斯卷积核；

步骤S12、将每一幅失真屏幕内容图像I转换为灰度图g，利用步骤S11得到的高斯拉普拉斯卷积核与转换后的灰度图g进行卷积运算得到中间结果图I_cov；

步骤S13、将步骤S12得到的中间结果图I_cov进行阈值化处理，将边缘强度大于指定阈值的像素点确定为边缘点，设置其值为255，剔除边缘强度小于等于指定阈值的像素点，设置其值为0，得到最终的边缘结构图I_edge；

步骤S14、通过步骤S11、步骤S12和步骤S13生成失真屏幕内容图像数据集中每幅失真图像对应的边缘结构图，得到与失真屏幕内容图像数据集相对应的边缘结构图数据集，将两个数据集以统一的方式划分为训练集和测试集，即某失真屏幕内容图像和其对应的边缘结构图同属于训练集或同属于测试集。

3.根据权利要求1所述的基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法，其特征在于，所述支持双源输入的孪生网络具体为：

以两个共享参数的ResNet50作为主干网络，将失真图像及对应的边缘结构图分别输入到两个分支子网络中进行多尺度的特征提取；为了实现两个分支子网络之间的参数共享，需对边缘结构图进行通道复制，得到与失真图像相同的通道数；然后使用主干网络ResNet50中的阶段三和阶段四作为特征提取模块；

使用支持双源输入的孪生网络对输入的失真图像和对应的边缘结构图进行多尺度特征提取和特征融合具体为：

将训练集中某个批次的失真图像和对应的边缘结构图输入到支持双源输入的孪生网络中，得到两个不同尺度的失真图像特征图和对应边缘结构图的特征图；记主干网络ResNet50中阶段三输出的失真图像的特征图为F_a3、边缘结构图的特征图为F_e3，其维度均为C₃×h₃×w₃，C₃表示特征图的通道数，h₃和w₃分别表示特征图的高和宽；记主干网络ResNet50中阶段四输出的失真图像的特征图为F_a4、边缘结构图的特征图为F_e4，其维度均为C₄×h₄×w₄，C₄表示特征图的通道数，h₄和w₄分别表示特征图的高和宽；

将得到的两个不同尺度的失真图像特征图和对应边缘结构图的特征图进行特征融合，通过边缘结构图的特征信息加强原始失真图像特征图中的锐利边缘信息，具体的计算公式如下：

其中，表示矩阵加法运算，F₃表示融合失真图像特征图F_a3和边缘结构图特征图F_e3后得到特征图，其维度为C₃×h₃×w₃，F₄表示融合失真图像特征图F_a4和边缘结构图特征图F_e4后得到特征图，其维度为C₄×h₄×w₄。