[发明专利]一种基于对抗生成网络的缺陷图像生成方法

说明书

本发明属于图像处理相关技术领域，其公开了一种基于对抗生成网络的缺陷图像生成方法，方法包括以下步骤：(1)采集工件的缺陷图像及无缺陷图像以分别构建缺陷数据集及无缺陷数据集，并对缺陷数据集进行像素级标注；(2)分别构建缺陷掩码输入模块及缺陷生成对抗网络；(3)构建缺陷方向向量模块；(4)构建缺陷注意损失，缺陷注意损失包括缺陷全图损失及缺陷区域损失；(5)训练缺陷生成对抗网络以得到缺陷生成参数模型，采用该缺陷生成参数模型生成缺陷图像。本发明能够生成“以假乱真”且超越现有采样数据空间限制的缺陷图像数据集，生成缺陷图像单张图像质量高，生成缺陷图像数据集缺陷多样性好，具有生成采样数据空间之外数据的能力。

技术领域

本发明属于图像处理相关技术领域，更具体地，涉及一种基于对抗生成网络的缺陷图像生成方法。

背景技术

表面质量检测在制造业智能化及自动化的过程控制与质量监控中起到关键作用。近年来深度学习，尤其是卷积神经网络(CNN)的发展，其在基于计算机视觉的表面缺陷检测领域取得了长足发展。但目前工业产线获取的缺陷数据往往存在异常缺陷数据量少，缺陷多样性不足等问题。因此，基于深度学习构建的缺陷检测模型存在识别率低，泛化性差等问题，因此，需要有一种缺陷生成方法以扩充缺陷的数据量和提高缺陷数据集的多样性。

现有的缺陷图像生成方法主要包括三种思路：1.人为破坏无缺陷工件以制造缺陷样本集。2.基于数字图像处理技术对缺陷进行模拟。上述两种方法只能模拟简单缺陷并且生成缺陷的质量较低。3.基于图像生成技术GAN生成缺陷图像，上述方法无法生成采样数据之外的样本，多样性较低。因此，现有的缺陷生成方法无法满足缺陷检测的需求，研究一种新的兼顾生成质量与多样性的缺陷图像生成方法成为本领域中亟待解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于对抗生成网络的缺陷图像生成方法，所述方法将现有缺陷图像输入到对抗生成网络中，利用对抗学习使得生成缺陷图像的分布不断逼近真实缺陷图像的分布，并构建缺陷掩码模块来控制生成缺陷的区域特征以及缺陷方向向量控制缺陷的强度特征，最终生成“以假乱真”且超越现有采样数据空间限制的缺陷图像数据集。

为实现上述目的，按照本发明的一个方面，提供了一种基于对抗生成网络的缺陷图像生成方法，所述方法主要包括以下步骤：

(1)采集工件的缺陷图像及无缺陷图像以分别构建缺陷数据集及无缺陷数据集，并对缺陷数据集进行像素级标注；

(2)分别构建缺陷掩码输入模块及缺陷生成对抗网络；训练过程中，缺陷掩码输入模块基于缺陷像素级标注对缺陷图像上的缺陷区域进行遮挡，并输入到缺陷生成对抗网络的缺陷图像生成器G中以对缺陷图像生成器G进行训练；缺陷掩码输入模块遮挡无缺陷图像的部分区域以使得对应的无缺陷图像上形成缺陷区域，进而得到生成缺陷图像，同时实现了对生成缺陷区域的控制；

(3)构建缺陷方向向量模块；

(4)构建缺陷注意损失，缺陷注意损失包括缺陷全图损失及缺陷区域损失；

(5)训练缺陷生成对抗网络以得到缺陷生成参数模型，采用该缺陷生成参数模型生成缺陷图像。

进一步地，所述缺陷方向向量模块由潜变量空间中检测超曲面的法向量构成。

进一步地，缺陷生成对抗网络包括所述缺陷图像生成器G和缺陷图像鉴别器D，其构建包括以下步骤：

3.1构建缺陷图像生成器G，所述缺陷图像生成器G的输入为被缺陷掩码输入模块进行掩码后的无缺陷图像，输出为生成缺陷图像；缺陷图像生成器G由编码器和解码器组成；

3.2构建缺陷图像鉴别器D，缺陷图像鉴别器D用于鉴别输入的缺陷图像是生成缺陷图像还是真实缺陷图像。

进一步地，缺陷方向向量模块的构建包括以下步骤：