[发明专利]基于卷积神经网络的多尺度图像质量检测方法

说明书

本发明公开了一种基于卷积神经网络的多尺度图像质量检测方法。其在训练阶段，构建卷积神经网络，其中有十一个内部网络层，其中有三层卷积用于编码，三层反卷积用于解码，其余七层用于加深网络，让网络学习更高层次的抽象，网络还包括两个跳层和三个多尺度输出层；将原始失真图像进行相应的预处理，输入到网络进行训练，将输入数据映射到原始图像对应的结构特征相似图；通过方向传播算法不断迭代更新网络参数，得到较优的网络参数；在测试阶段，通过训练好的网络提取测试图像特征，通过显著加权得到测试图像的整体质量结果。本发明不使用人的主观分数进行监督，不存在由于人的主观因素造成的训练误差，可以使预测结果更为客观，准确。

技术领域

本发明涉及一种深度学习的多尺度图像质量检测方法，尤其是涉及一种基于卷积神经网络的图像质量检测方法。

背景技术

客观图像质量的检测是计算视觉的基本问题，图像捕捉设备在照明条件、曝光、光圈、对噪声的敏感性和镜头的限制下，可能会产生图像伪影，导致图像模糊。在使用压缩算法处理图像的时候也会造成图像信息的丢失而导致图像的失真。在如今大数据时代下，不可能通过人工主观来进行图像质量的检测，因此建立一个准确的图像质量评估模型在监控图像质量退化，优化图像处理系统，改善视频编码算法等领域起到了很重要的作用。

如今，很多图像质量(IQA)检测算法被提出，主要分为三类：全参考图像质量评估算法(FR-IQA)，半参考图像质量评估算法(RR-IQA)，无参考图像质量评估算法(NR-IQA)。全参考的方法提供原始非失真的参考图像，可以通过失真图形与参考图像的对比得到一个客观的质量分数。传统的全参考图像质量检测算法(FR-IQA)如SSIM，FSIM，VSI，GMSD等方法已经能够很好地对图像质量进行客观的检测。而在现实场景中，我们往往无法获得参考图像，因此对于无参考图像质量评估算法(NR-IQA)的研究更具有实际价值。

最近几年，深度卷积神经网络在各种计算机视觉的任务中取得了突出的表现，并且在图像识别等方向达到了超过人类水平的准确率，由此引起了很多研究者的注意。卷积神经网络相比于传统方法的优点是它可以直接将原始图像作为输入，不需要人工对图像进行特征的提取。直接采用端到端的训练，不需要额外的数据处理，我们可以通过调整网络结构以实现不同的计算机视觉任务。对于无参考的图像质量检测算法现也基本采用深度学习的方法，输入失真图像，通过卷积神经网络提取失真图像特征，然后将提取的特征映射到主观质量分数(dmos)。另外的方法通过采集局部图像，和传统方法计算出的失真图像的mapfeature相结合得到局部的质量分数，然后将局部的质量分数结合得到整体的图像质量结果。

现有的无参考图像质量检测算法在各类失真上能够得到和人类主观感觉相近的结果，但是对所有失真进行预测的时候预测精度会降低，并且对于不同的数据库的结果也各不相同，模型的通用性不强。并且现实场景中图像可能存在多种混合失真，增加了图像质量评估的难度。

发明内容

为了解决背景技术中的问题，本发明提供了一种基于卷积神经网络的多尺度图像质量检测方法，该方法检测结果好，且模型有一定的泛化能力。

本发明的技术方案包括以下步骤：

步骤1：选取J幅失真图像以及失真图像对应的参考图像作为训练集，根据全参考IQA方法FSIM计算得到失真图像对应的特征相似图，将特征相似图尺寸调整后得到三幅不同尺寸的特征相似图；

步骤2：构建卷积神经网络；

步骤3：将失真图像预处理后输入卷积神经网络进行训练，训练过程中，采用三幅尺寸不同的特征相似图进行多尺度监督训练，每次迭代训练处理得到每幅失真图像对应的三幅训练预测图，通过对三幅训练预测图和三幅尺寸不同的特征相似图计算均方误差得到损失函数值；采用反向传播算法不断迭代调整网络参数；

步骤4：根据GBVS显著图计算方法计算得到待预测失真图像对应的显著图像，将显著图像尺寸调整后得到三幅不同尺寸的显著图像；