[发明专利]一种基于深度学习网络的瑕疵点识别方法

说明书

本发明公开了一种基于深度学习网络的瑕疵点识别方法。本发明首先将瑕疵的图片通过Resnet‑50特征提取网络，提取瑕疵的特征，然后通过改进的transformer网络对瑕疵进行检测，识别出瑕疵。本发明通过对DETR网络的transformer网络模块进行改进，能够提升速度的同时，将瑕疵能够更精确地检测出来。

技术领域

本发明属于计算机视觉中的图像处理和目标检测领域，涉及一种基于深度学习网络来检测瑕疵的识别方法。

背景技术

传统的目标检测是通过生成建议框，接着提取目标框内的特征、最后进行分类的技术。传统的目标检测算法在速度和精度上都存在瓶颈，随着深度学习神经网络算法的快速发展，视频和图像中的目标检测任务也得到了快速发展。

瑕疵点检测是工业界一项很重要的工作，目前主要依靠工人手工进行瑕疵挑选，非常耗时，人力成本高，同时要求工人要有丰富的经验。现有基于深度学习的目标检测可以分成如下两类：one-stage和two-stage的目标检测。上述两种方向的算法，前者具有较快的速度，而后者能够有较好的精度。但上述两种方向上的算法，在对小物体的检测均不能达到一个理想的效果，本发明在深度学习one-stage模型的基础上，对已有算法进行改进，提出一种适用于瑕疵点的检测方法，提升对厘米级别的瑕疵小目标的检出率，同时提升检测速度。

发明内容

本发明针对现有技术的不足，提供了一种基于深度学习网络的瑕疵点识别方法。

本发明解决技术问题所采取的技术方案为：

本发明包括以下步骤：

步骤1、拍摄包含瑕疵点的视频图像序列，将其输入至特征提取分支进行特征提取。

步骤2、将特征提取分支输出的特征图经过展平，通过添加位置信息分支加入位置编码信息，输入至transformer分支中的编码器transformer-encoder。

所述的编码器transformer-encoder中的自注意力层Self-Attention进行了改进，具体是：在自注意力层Self-Attention中增加了一个用于增强局部性且基于位置的高斯分布Attention分支。

同时还对输入至编码器transformer-encoder的Key和Value矩阵进行卷积降维，用于提升自注意力层Self-Attention的计算速度。

步骤4、将编码器transformer-encoder的最后一层输出，作为transformer分支中解码器transformer-decoder的输入，并把可学习的矩阵object queries输入到解码器transformer-decoder中。

步骤5、将解码器transformer decoder的结果输入到前馈神经网络预测分支，分别得到分类分支和回归分支，其中分类分支通过全连接进行分类，回归分支通过多层感知机进行边界框的回归。

步骤6、对网络进行训练，训练时，分类损失为交叉熵损失，回归损失包括L_iou损失和L1损失；

所述网络由特征提取分支、添加位置信息分支、transformer分支和前馈神经网络预测分支组成。

步骤7、使用训练好的网络进行前向推理时，计算模型预测图像中的瑕疵点。

本发明的有益效果：