[发明专利]一种基于多任务学习的工业缺陷检测方法

说明书

本发明涉及工业缺陷检测技术领域，公开了一种基于多任务学习的工业缺陷检测方法，将缺陷分类任务细分为两个子任务，分别正常/异常(ok/ng)二分类问题(记为task1)、n种缺陷类别的multilabel分类问题(记为task2)，构建基于卷积神经网络(CNN)的分类模型来解决该问题。分类模型由base model和head两部分组成。其中，base model负责提取输入图像的图像特征得到对应的特征图像，不同任务的base model采用hardsharing的连接方式共享网络权重。head为输出层，由base model引出两个分支，分别用于解决task1和task2；两个分支分别由全连接层和sigmod函数构成，输出ng类别的概率和n种缺陷的类别概率。该方法可缓解目前工业缺陷检测方法容易受到成像条件、缺陷与背景的差异小、图像对比度低、同一类型的缺陷尺度和外观变化大等干扰，导致检测效果不稳定的问题。

技术领域

本发明涉及工业缺陷检测技术领域，尤其涉及一种基于多任务学习的工业缺陷检测方法。

背景技术

工业缺陷检测，是一种通过机器视觉算法来自动识别工业相机拍摄的图像中的瑕疵部位的技术。具体而言，工业缺陷检测需要判断图像中是否存在缺陷并识别缺陷的种类，进而分析得出工业产品的瑕疵程度。该技术可广泛应用于各个工业领域中，以代替人工检测，提高产品生产效率、检测精度及稳定性。

传统的基于机器视觉的工业缺陷检测方法，一般需要根据检测物体表面反射性质选择合适的成像方案(如明场成像、暗场成像和混合成像等)，从而获得光照均匀的图像，以突出物体表面的缺陷，再采用图像处理算法或人工设计特征加分类器的方式来识别图像中是否存在缺陷。但在真实的工业环境下，成像条件复杂多变，带来图像噪声大、亮度变化等问题，此外，还面临缺陷与背景的差异小、图像对比度低、同一类型的缺陷尺度和外观变化大等挑战，传统的检测方法容易受到上述因素的干扰，导致检测效果不稳定，而无法达到实际使用要求。

近年来，卷积神经网络(Convolutional Neural Network,CNN)由于其强大的特征表达能力(可克服缺陷背景、颜色、纹理、形状等方面变化带来的干扰)，在工业检测场景中，得到了广泛的应用。基于CNN分类器的工业缺陷检测问题可建模为异常图像分类问题，该问题的目标为：识别图片是正常(ok)图片还是异常(ng)图片，并判断ng图片的类别。由于一张图像中可能存在多个缺陷，因而可以通过多标签(multilabel)分类模型来解决该问题。工业缺陷检测场景下的异常图片分类问题与一般的multilabel 图像分类问题的区别在于：1)工业缺陷检问题中的样本类别非常不平衡，正常样本的数量要远高于异常样本；2)在multilabel分类问题中，一张图片可包含任意数目的任意类别的标签，而工业缺陷检测的特殊性在于：一张图片可以存在多种缺陷类别，但如果存在缺陷则该图片的类别一定不属于正常图片；3)工业缺陷检测场景中的模型评价标注也不同于一般的分类问题，该场景下模型区分正常和异常样本的能力的重要性要远高于模型区分不同类别异常样本的能力；此外，该场景要求模型在极低的漏报率的情况下能尽可能的压低误报，即要求模型有极高的召回率。直接将 multilabel分类模型用于该场景存在的问题是，如果将ok样本作为训练类别的一类，multilabel分类问题的特点是各个类别是不互斥的，而工业缺陷检测问题的特殊性在于，ok类别与其他类别是互斥的。而如果将ok样本作为不属于任何一种训练类别的负样本，由于工业缺陷检测问题中ok样本要远多于异常样本，则会导致负样本的数量远高于正样本，这会影响 CNN模型的训练和收敛。

发明内容

(一)要解决的技术问题

本发明实施例提供一种基于多任务学习的工业缺陷检测方法，用以解决现有的传统的工业缺陷检测方法容易受到成像条件、缺陷与背景的差异小、图像对比度低、同一类型的缺陷尺度和外观变化大等因素干扰，导致检测效果不稳定，而无法达到实际使用要求的问题。

(二)发明内容

本发明实施例提供一种基于多任务学习的工业缺陷检测方法，其特征在于，包括以下步骤：