[发明专利]一种结合深度学习和图像处理的烟盒缺陷识别方法

权利要求书

1.一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，包括以下步骤：

获取原始图像并对原始图像进行处理，得到样本图像和烟盒图像；

根据样本图像训练神经网络模型，得到特征提取模型；

将烟盒图像输入到特征提取模型，并对特征提取模型中的卷积层的数据进行求导及加权求和，得到热力图；

根据热力图和烟盒图像，计算得到烟盒图像中的缺陷长宽。

2.根据权利要求1所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述获取原始图像并对原始图像进行处理，得到样本图像和烟盒图像这一步骤，其具体包括：

获取原始图像并对原始图像进行预处理，得到分类后的预处理图像；

将分类后的预处理图像进行图像增强，得到多个样本图像和烟盒图像。

3.根据权利要求2所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述对原始图像进行预处理具体为将原始图像大小调整为384x512并根据原始图像的真实缺陷情况对原始图像进行缺陷分类。

4.根据权利要求3所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述将分类后的预处理图像进行图像增强，得到多个样本图像和烟盒图像这一步骤，其具体包括：

对分类后的预处理图像进行随机裁剪、左右翻转和随机旋转的操作，得到第一样本图像；

对分类后的预处理图像的缺陷区域进行粗截取，得到各种类型不同角度的缺陷贴图；

将缺陷贴图进行缩放和旋转操作后融合到原始图像中，得到第二样本图像；

结合第一样本图像、第二样本图像和原始图像，得到多个样本图像和烟盒图像。

5.根据权利要求4所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述训练神经网络模型具体为基于resnet18神经网络结构模型进行训练并使用交叉熵损失函数、三元组损失函数进行训练。

6.根据权利要求5所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述将烟盒图像输入到特征提取模型，并对特征提取模型中的卷积层的数据进行求导及加权求和，得到热力图这一步骤，其具体包括：

将烟盒图像输入到特征提取模型，对烟盒图像进行推断并提取得到特征图；

对特征提取模型中最后一个卷积层的数据进行求导得到梯度，并将梯度的均值作为特征图的权重；

将特征图乘以对应权重得到带权重的特征图并对带权重的特征图求平方和，归一化处理得到热力图。

7.根据权利要求6所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述归一化处理得到热力图还包括将热力图缩放到原始图像尺寸大小后再与原始图像进行加权混合，得到烟盒缺陷区域热力图图像。

8.根据权利要求7所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述根据热力图和烟盒图像，计算得到烟盒图像中的缺陷长宽这一步骤，其具体包括：

将热力图转换为HSV格式，得到HSV格式的热力图；

对HSV格式的热力图中的区域进行颜色设置并根据区域对应的颜色得到烟盒缺陷区域的掩膜图像；

对掩膜图像进行图像处理，得到图像轮廓和缺陷坐标；

根据缺陷坐标对烟盒图像进行裁剪，得到裁剪后的缺陷区域；

对裁剪后的缺陷区域进行膨胀和腐蚀操作，得到缺陷区域最小面积矩形框；

根据最小面积矩形框计算得到烟盒图像的缺陷长宽。

9.根据权利要求8所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，还包括：

根据缺陷区域最小面积矩形框的信息在烟盒图像中绘制对应的矩形框。

10.根据权利要求9所述一种结合深度学习和图像处理的烟盒缺陷识别方法，其特征在于，所述对掩膜图像进行图像处理具体包括灰度转换处理、高斯滤波除噪处理和二值化处理。