[发明专利]一种基于深度学习网络的瑕疵点识别方法

权利要求书

1.一种基于深度学习网络的瑕疵点识别方法，其特征在于该方法包括以下步骤：

步骤1、拍摄包含瑕疵点的视频图像序列，将其输入至特征提取分支进行特征提取；

步骤2、将特征提取分支输出的特征图经过展平，通过添加位置信息分支加入位置编码信息，输入至transformer分支中的编码器transformer-encoder；

所述的编码器transformer-encoder中的自注意力层Self-Attention进行了改进，具体是：在自注意力层Self-Attention中增加了一个用于增强局部性且基于位置的高斯分布Attention分支；

同时还对输入至编码器transformer-encoder的Key和Value矩阵进行卷积降维，用于提升自注意力层Self-Attention的计算速度；

步骤4、将编码器transformer-encoder的最后一层输出，作为transformer分支中解码器transformer-decoder的输入，并把可学习的矩阵object queries输入到解码器transformer-decoder中；

步骤5、解码器transformer decoder的结果输入到前馈神经网络预测分支，分别得到分类分支和回归分支，其中分类分支通过全连接进行分类，回归分支通过多层感知机进行边界框的回归；

步骤6、对网络进行训练，训练时，分类损失为交叉熵损失，回归损失包括L_iou损失和L1损失；

所述网络由特征提取分支，添加位置信息分支，transformer分支，前馈神经网络预测分支组成；

步骤7、使用训练好的网络进行前向推理时，计算模型预测图像中的瑕疵点。

2.根据权利要求1所述的一种基于深度学习网络的瑕疵点识别方法，其特征在于：所述的特征提取分支采用Resnet-50网络。

3.根据权利要求2所述的一种基于深度学习网络的瑕疵点识别方法，其特征在于：卷积降维过程中采用3*3的卷积核，卷积步长为2，卷积核个数与输入通道一致。

4.根据权利要求1所述的一种基于深度学习网络的瑕疵点识别方法，其特征在于：高斯分布Attention分支的输入为Query矩阵和卷积降维后的Key矩阵。

5.根据权利要求1所述的一种基于深度学习网络的瑕疵点识别方法，其特征在于：回归的损失函数L_box由L_iou损失函数和L1损失函数组成，L_box=2*L_iou+5*L1。