[发明专利]基于卷积自编码网络的无参考图像质量评价方法

摘要

本发明公开了一种基于卷积自编码网络的无参考图像质量评价方法，本发明具体步骤如下：构建卷积自编码网络；构建全连接神经网络；生成预训练集，训练集和测试集；训练卷积自编码网络和全连接神经网络；对测试数据集中的失真图像行质量评价。本发明利用卷积自编码网络对无参考图像和及其图像块分别进行编码，利用全连接神经网络从无参考图像及其图像块的编码中分别提取全局语义特征和局部失真特征，并将两种特征融合，利用全连接神经网络将融合后的特征映射为感知质量分数，具有评价结果更加符合人的主观感受的优点。

主权项

1.一种基于卷积自编码网络的无参考图像质量评价方法，其特征在于，利用卷积自编码网络对测试集中每幅失真图像和对其切割产生的图像块分别进行特征编码，利用空间金字塔池化和全连接神经网络从测试集中每幅失真图像的特征编码中提取全局语义特征，利用全连接神经网络从测试集中每幅失真图像的对应图像块的特征编码中提取图像的局部失真特征；该方法具体步骤包括如下：(1)构建卷积自编码网络：搭建一个17层的卷积自编码网络，并设置卷积自编码网络的各层参数；(2)构建全连接神经网络：(2a)搭建3个子全连接神经网络，将第1个和第2个子全连接神经网络的输出层分别与第3个子全连接神经网络的输入层相连，组成全连接神经网络；(2b)设置全连接神经网络的3个子全连接神经网络的各层参数；(3)生成预训练集、训练集、测试集：(3a)从公知数据库中随机选取不少于5000幅的无失真图像，在每一幅图像中添加4种不同类型5种不同程度的噪声信号后组成失真图像集，将该失真图像集作为预训练集；(3b)从公知数据库中随机选取不超过50幅的无失真图像，在每一幅图像中添加24种不同类型5种不同程度的噪声信号后组成失真图像集；利用主观质量评价方法，评价每幅失真图像的主观评分，将每幅失真图像的主观评分作为其质量标签，随机选取所有具有质量标签的失真图像的80％组成训练集，将剩下20％的失真图像组成测试集；(4)训练卷积自编码网络和全连接神经网络：(4a)将预训练数据集中的失真图像依次输入到卷积自编码网络中，使用随机梯度下降法，调整卷积自编码网络中的参数，直到调整参数后的卷积自编码网络输出与输入间的损失值小于阈值，得到预训练好的卷积自编码网络；(4b)将全连接神经网络中第1个子全连接神经网络的空间金字塔池化层与第2个子全连接神经网络的输入层，分别连接到预训练好的卷积自编码网络的第5个卷积层组成一个整体网络，将训练数据集里的失真图像依次输入到整体网络中进行训练，使用随机梯度下降法，调整整体网络的参数，直到调整参数后的整体网络输出与输入间的损失值小于阈值，得到训练好的整体网络；(5)对测试集中每幅失真图像进行特征编码：(5a)将测试集中每幅失真图像复制出一个与原失真图像一模一样的副本，将每幅失真图像的副本切割成尺寸为96x96的图像块，将每幅失真图像对应的副本的所有图像块组成一个图块包；(5b)将测试集中每幅失真图像与其对应的图块包输入到训练好的整体网络的卷积自编码网络的输入层中，整体网络的卷积自编码网络的第5个卷积层分别输出每幅失真图像的特征编码和每幅失真图像对应的图块包中每个图像块的特征编码，将每幅失真图像对应图块包的中所有图像块的特征编码组成每幅失真图像的特征编码包；(6)提取测试集中每幅失真图像的全局语义特征：将测试集中每幅失真图像的特征编码，依次输入到训练好的整体网络的全连接神经网络的第1个子全连接神经网络的空间金字塔池化层中，整体网络的全连接神经网络的第1个子全连接神经网络的输出层，依次输出测试集中每幅失真图像的全局语义特征；(7)提取测试集中每幅失真图像的局部失真特征：(7a)将测试集中每幅失真图像对应图块包的特征编码包中的特征编码进行加权平均，得到测试集中每幅失真图像对应图块包的平均特征编码；(7b)将测试集中每幅失真图像对应图块包的平均特征编码，依次输入训练好的整体网络的全连接神经网络的第2个子全连接神经网络的输入层中，整体网络的全连接神经网络的第2个子全连接神经网络的输出层，依次输出测试集中每幅失真图像的局部失真特征；(8)融合全局语义特征和局部失真特征：将测试集中每幅失真图像的全局语义特征和局部失真特征进行加权求和，得到测试集中每幅失真图像的融合特征；(9)对测试集中每幅图像进行质量评价：将测试集中每幅失真图像的融合特征，依次输入训练好的整体网络的全连接神经网络的第3个子全连接神经网络，整体网络的全连接神经网络的第3个子全连接神经网络输出失真图像的质量评价值。