[发明专利]一种面向智能制造精微结构表面缺陷的视觉检测方法

权利要求书

1.一种面向智能制造精微结构表面缺陷的视觉检测方法，其特征在于：所述视觉检测方法基于深度学习和机器学习的融合，所述视觉检测方法包括下述步骤：

S1.制作工件表面缺陷训练图像集；

在同一场景下对不同空间位姿下的工件表面进行缺陷图像采集，采集样本图像数量为N幅；

通过图像增强技术完成表面缺陷图像的手动标注，记录缺陷图像集为Image，记录缺陷标注图像集合对应为Image_Label；

制作要求如下，在工件表面缺陷图像集制作中，要求表面缺陷面积截取图像的1/3，否则不被视为缺陷图像，在一幅缺陷图像中，缺陷数据要远少于背景数据；

为提高工件表面缺陷检测效果，引入图像数据增强技术，其包括图像翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动以及旋转变换/反射变换，经过工件表面缺陷图像增强处理后，图像中缺陷与背景数据的比值接近1:1；

S2.搭建基于YOLOv3的深度学习网络模型；

以图像分类深度卷积神经网络为基础，对缺陷图像中的每一个像素做出分类，即在像素级别上对图像进行理解；

缺陷检测模型网络包含三个主要组成部分：卷积层、降采样层和上采样层；

工件表面缺陷图像输入格式为[m,n,3]，经过模型卷积层、池化层后图像压缩表示为[w,h,d]的特征向量，其中w为特征向量的跨度，h为特征向量的高度，d为特征向量的深度，相对于原始图像输入数据，该压缩向量对应空间维度较低但是更为紧致，将此压缩向量输入到模型上采样层，重建与模型输入层维度相同的输出向量，即输入图像对应的缺陷类别标签图像；

S3.设置模型训练参数，完成深度学习缺陷检测模型的训练，其中，模型训练参数包括：缺陷类别对应权重比值、最大训练迭代次数等；

S4.将深度学习训练模型的输出图像传送到后一级的机器学习环节，该环节处理SIFT、ORB以及直方图在内的多种传统机器学习处理方案，对中间输出图像进行更进一步的特征提取；

深度学习环节主要提取缺陷图像中的大尺度特征，机器学习环节主要提取小尺度特征，通过深度学习和机器学习的融合，实现“大小颗粒”特征的全面提取，提高缺陷模型的识别率；

机器学习环节具体操作流程如下：

首先，将深度学习处理过的缺陷图像经过SIFT算子处理，SIFT是一种检测局部特征的算法，该算法通过求待检测缺陷图中的特征点(interest points，corner points)及其有关尺度和方向的描述子得到特征并进行图像特征点匹配，进一步提取到深度学习环节不能提取到的小尺度特征，需要补充的是，SIFT特征不只具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果；

其次，当工业环境中的待检测缺陷工件视角变换不大且对速度和空间有要求时，使用ORB算子替代SIFT算子；ORB是一种类似于SIFT的提取方法，相比于SIFT计算速度更快，计算时间大概为SIFT的1％，由于ORB使用了FAST来加速特征点的提取，另外，还使用了BRIEF算法计算描述子，该描述子特有的二进制串的表现形式不仅节约存储空间，而且大大缩短匹配的时间，但是ORB相比于SIFT，在尺度变换能力较弱；

最后，采用直方图算法作用在SIFT或ORB算法，用以进一步优化缺陷图片，其基本思想是：先将连续的浮点特征值离散化成x个整数，同时构造一个宽度为x的直方图，即将浮点数的范围均分成若干整数区间，在遍历数据的时候，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点，通过使用直方图进一步处理，加强了检测模型的鲁棒性、以及模型稳定性；

S5.基于已训练的深度学习和机器学习融合缺陷检测模型，对工件表面缺陷进行检测，过程如下，将上一步骤中，已训练好的缺陷检测融合模型进行固化，对应模型输入为缺陷图像，输出为缺陷图像标签。