[发明专利]一种基于卷积神经网络的工业产品表面缺陷检测和分类装置

权利要求书

1.一种基于卷积神经网络的工业产品表面缺陷检测和分类装置，包括图片采集系统、缺陷检测系统、显示系统、数据分发系统和模型更新系统，其特征在于，所述图片采集系统包括ARM芯片、标号模块、摄像模块和数据发送模块A，所述ARM芯片用于对摄像模块进行控制，并实时检测是否有产品在摄像模块视觉范围内，所述摄像模块用于对待检测图片进行图像的采集，所述标号模块用于对所采集的图片进行标号使其对应产品，并通过数据发送模块A传送至数据分发系统中；

所述数据分发系统包含接收模块和信息转发模块，所述接收模块用于接收图片采集系统和缺陷检测系统发送的信息，并通过信息转发模块转发至缺陷检测系统、显示系统和模型更新系统；

所述缺陷检测系统包括数据接收模块B、缺陷检测模块和数据发送模块B，所述数据接收模块B在获得摄像模块拍摄的工业产品图片后，通过缺陷检测模块中模型判断该产品表面是否存在缺陷，再依次通过数据发送模块B和数据分发系统中的接收模块和信息转发模块将检测结果传送至显示系统中，通过显示系统显示工业产品是否为缺陷产品，如果为缺陷产品并将缺陷的位置显示出来；

所述显示系统包含数据接收模块C、数据处理模块、显示模块和数据存储模块，所述数据接收模块C用于接收数据分发系统中信息转发模块传输过来的信息，并通过数据处理模块对信息进行处理，所述数据存储模块用于存储数据处理模块处理的数据，所述显示模块用于显示判断产品是否包含缺陷，以及若有缺陷显示出缺陷的位置；

所述模型更新系统包含掩码产生模块、模型数据模块和数据发送模块C，所述掩码产生模块用于接收数据分发系统中信息转发模块传输过来的产品图片，并对有缺陷的图片产生后语义分割的掩码，以用于后续的模型训练；所述模型数据模块用于训练缺陷检测系统中模型，将训练后的模型数据依次通过数据发送模块C和数据接收模块B传入缺陷检测模块以更新模型参数，以提高模型的性能；所述模型更新系统中掩码产生模块的掩码产生方法如下：

将图片采集系统中获得的图片切割成64x64大小的小块图片，通过人工将小块图片分为有缺陷和无缺陷两部分，并使用重复采样的方式增强有缺陷的图片，再将图片送入到分类神经网络中进行训练，利用分类神经网络和Grad-CAM方法产生掩码，之后将小块图片的掩码拼接产生原始图片的掩码，考虑到缺陷与背景的巨大差异，设置标准化数值0.2作为阈值，将小于等于0.2的数值视为背景部位，即非缺陷部位，将大于0.2的数值设为目标区域，也就是缺陷区域；

其检测和分类方法包括以下步骤：

S1、利用掩码产生模块产生掩码，再通过掩码训练一个利用FCN思想将3个全连接层换为3个卷积层的VGG19网络构建的语义分割网络；

S2、冻结语义分割网络，利用语义分割网络提取图片的特征，再将改变结构后的VGG19网络的不同层次特征送入分类神经网络中训练得到一个分类网络，从而得到一个同时实现分类和分割双重功能的FCN网络，无论是分割中对像素的分类还是分类中对图片的分类最终都使用softmax转化为概率，其中分类功能判定缺陷是否存在，分割功能通过语义分割定位缺陷位置；

S3、基于度量学习的小样本分类网络的方法，在大型公共分类数据集ImageNet上预训练一个四层的卷积神经网络，再利用人工将工业缺陷图片进行分类，再次训练这个四层的小样本分类网络；

S4、将具有分类功能的FCN网络判定为有缺陷的样本，基于度量学习的小样本分类网络进行缺陷分类的工作，将系统判定为缺陷的样本与不同已知类别的缺陷样本计算余弦距离，再通过softmax转化为概率。

2.根据权利要求1所述的一种基于卷积神经网络的工业产品表面缺陷检测和分类装置，其特征在于，所述缺陷检测系统的检测方法包括语义分割中的全卷积神经网络的方法FCN和基于度量学习的小样本分类网络的方法，所述语义分割中的全卷积神经网络的方法FCN用于进行训练并保存数据模型，以分割出缺陷位置和对有无缺陷进行判别，所述基于度量学习的小样本分类网络的方法用于对有缺陷的产品进行分类，判断其缺陷的种类，以训练得出最优化的模型。

3.根据权利要求1所述的一种基于卷积神经网络的工业产品表面缺陷检测和分类装置，其特征在于，所述模型更新系统中模型数据模块的模型训练方法如下：

将图片采集系统中获得的图片人工分为有缺陷和无缺陷两部分，由于有缺陷的图片相对来说是比较少的，先利用旋转和镜像的方式进行图像增强，采用旋转90度、180度和270度，水平镜像和垂直镜像的方式，将原始的缺陷图像变为原先的六倍。