[发明专利]基于组合神经网络和分类神经网络的图像质量评价方法

摘要

本发明公开了一种基于组合神经网络和分类神经网络的图像质量评价方法，其在训练阶段将采用全参考图像质量评价方法获得的失真图像的客观真实质量图像作为监督，对失真图像的归一化图像进行训练得到针对不同失真类型的组合神经网络回归训练模型；并将失真图像的分类标签作为监督，对失真图像的归一化图像进行训练得到分类神经网络训练模型；在测试阶段将待评价的失真图像的归一化图像输入到分类神经网络训练模型中，得到失真类型；根据失真类型，将归一化图像输入到对应的组合神经网络回归训练模型中得到客观质量评价预测质量图，使用显著图对客观质量评价预测质量图进行加权池化，得到客观质量评价预测值；优点是有效地提高了客观评价结果与主观感知之间的相关性。

主权项

1.一种基于组合神经网络和分类神经网络的图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤①_1：选取P幅原始的无失真图像，将第p幅原始的无失真图像记为其中，P为正整数，P>1，p为正整数，1≤p≤P，1≤x≤W，1≤y≤H，W表示的宽度，H表示的高度，表示中坐标位置为(x,y)的像素点的像素值；步骤①_2：利用jpeg2000失真生成方法，生成每幅原始的无失真图像在jpeg2000失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg2000失真类型下的不同失真程度的失真图像构成第一失真训练集，将第一失真训练集中在jpeg2000失真类型下的第k幅失真图像记为利用jpeg失真生成方法，生成每幅原始的无失真图像在jpeg失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在jpeg失真类型下的不同失真程度的失真图像构成第二失真训练集，将第二失真训练集中在jpeg失真类型下的第k幅失真图像记为利用高斯噪声失真生成方法，生成每幅原始的无失真图像在高斯噪声失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯噪声失真类型下的不同失真程度的失真图像构成第三失真训练集，将第三失真训练集中在高斯噪声失真类型下的第k幅失真图像记为利用高斯模糊失真生成方法，生成每幅原始的无失真图像在高斯模糊失真类型下的K个不同失真程度的失真图像，并将所有原始的无失真图像在高斯模糊失真类型下的不同失真程度的失真图像构成第四失真训练集，将第四失真训练集中在高斯模糊失真类型下的第k幅失真图像记为其中，K为正整数，K>1，k为正整数，1≤k≤K，第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自包含P×K幅失真图像，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；步骤①_3：利用基于特征相似度的全参考图像质量评价方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行质量评价，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的客观真实质量图像，将的客观真实质量图像记为将的客观真实质量图像记为将的客观真实质量图像记为将的客观真实质量图像记为利用归一化方法，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像进行归一化处理，获得第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的归一化图像，将的归一化图像记为将的归一化图像记为将的归一化图像记为将的归一化图像记为其中，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；步骤①_4：构建组合神经网络：该组合神经网络有输入层、非线性拟合层和预测层，非线性拟合层包括两个GoogleNet模块和三层卷积神经网络，两个GoogleNet模块均包括四个分支，第1个分支包括一层卷积层，该卷积层的神经元结点数为64，第2个分支包括两层卷积层，两层卷积层的神经元结点数分别为48、64，第3个分支包括三层卷积层，三层卷积层的神经元结点数分别为64、96、96，第4个分支包括一层均值池化层和一层卷积层，均值池化层的池化窗口大小为(3，3)，卷积层的神经元结点数为64，第1个GoogleNet模块的4个分支连接到一起输入到第2个GoogleNet模块中，第2个GoogleNet模块的4个分支连接到一起输入到第1层卷积神经网络中，三层卷积神经网络的神经元结点数分别为128、64、1，参数mini‑batch的大小为20，编译时使用的优化器为Adam，使用的激活函数都设置为修正线性单元函数；接着利用组合神经网络，将第一失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第一失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第一权值矢量和最优的第一偏置项；然后将最优的第一权值矢量和最优的第一偏置项作为组合神经网络的最优参数，进而构造得到最优的第一组合神经网络回归训练模型；同样，利用组合神经网络，将第二失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第二失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第二权值矢量和最优的第二偏置项；然后将最优的第二权值矢量和最优的第二偏置项作为组合神经网络的最优参数，进而构造得到最优的第二组合神经网络回归训练模型；利用组合神经网络，将第三失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第三失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第三权值矢量和最优的第三偏置项；然后将最优的第三权值矢量和最优的第三偏置项作为组合神经网络的最优参数，进而构造得到最优的第三组合神经网络回归训练模型；利用组合神经网络，将第四失真训练集中的每幅失真图像的客观真实质量图像作为监督，对第四失真训练集中的每幅失真图像的归一化图像进行训练，使得回归得到的质量图与客观真实质量图像之间的误差最小，得到最优的第四权值矢量和最优的第四偏置项；然后将最优的第四权值矢量和最优的第四偏置项作为组合神经网络的最优参数，进而构造得到最优的第四组合神经网络回归训练模型；步骤①_5：构建分类神经网络：该分类神经网络有输入层、非线性拟合层和预测层，非线性拟合层包括四层卷积神经网络，四层卷积神经网络的神经元结点数分别为16、32、128、256，预测层包括两层全连接层和一层分类层，两层全连接层的神经元结点数均为64，分类层的神经元结点数为4，参数mini‑batch的大小为64，编译时使用的优化器为rmsprop，除分类层外所有层使用的激活函数都设置为修正线性单元函数，分类层使用的激活函数设置为softmax；接着利用分类神经网络，将第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集中的所有失真图像的分类标签作为监督，对第一失真训练集、第二失真训练集、第三失真训练集和第四失真训练集各自中的每幅失真图像的归一化图像进行训练，使得分类得到的失真类型与分类标签之间的误差最小，得到最优的分类权值矢量和最优的分类偏置项；然后将最优的分类权值矢量和最优的分类偏置项作为分类神经网络的最优参数，进而构造得到分类神经网络训练模型；所述的测试阶段过程的具体步骤为：步骤②_1：令表示待评价的失真图像；其中，1≤x'≤W'，1≤y'≤H'，W'表示的宽度，H'表示的高度，表示中坐标位置为(x',y')的像素点的像素值；步骤②_2：利用归一化方法，对进行归一化处理，获得的归一化图像，记为其中，表示中坐标位置为(x',y')的像素点的像素值；利用图像显著性特征图提取方法，提取出的显著图，记为其中，表示中坐标位置为(x',y')的像素点的像素值；步骤②_3：将作为输入，输入到训练阶段过程构造得到的分类神经网络训练模型中，得到的失真类型；步骤②_4：若的失真类型为jpeg2000，则将作为输入，输入到训练阶段过程构造得到的第一组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为其中，表示中坐标位置为(x',y')的像素点的像素值；若的失真类型为jpeg，则将作为输入，输入到训练阶段过程构造得到的第二组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为若的失真类型为高斯噪声，则将作为输入，输入到训练阶段过程构造得到的第三组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为若的失真类型为高斯模糊，则将作为输入，输入到训练阶段过程构造得到的第四组合神经网络回归训练模型中，得到的客观质量评价预测质量图，记为步骤②_5：使用对进行加权池化，得到的客观质量评价加权预测值，记为Q。