[发明专利]基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法、存储介质

说明书

本发明的一种基于GLCM与CNN‑Transformer融合的产品外观缺陷分类方法、存储介质，其中方法采用有效像素概率分布面积等分方法，对预处理后的产品样本图像进行灰度级降维，通过多通道分区域计算与合并方法，得到灰度共生矩阵GLCM与统计量矩阵，并引入3个1×1卷积核作为转换模块，对灰度共生矩阵GLCM进行降维处理，利用多层残差CNN进行特征提取，并与Swin Transformer Block结构体融合，同时，将统计量矩阵与多层残差CNN特征提取的融合结果进行二次特征融合，从而构建了GLCM与CNN‑Transformer融合的产品缺陷分类模型。本发明结合了灰度共生矩阵GLCM在纹理特征提取上的突出表现，以及CNN和Transformer在图像分类上的优势，能够更好地实现对有明显缺陷特征的产品外观的分类。

技术领域

本发明涉及纺织化纤工业检测技术领域，具体涉及一种基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法、存储介质。

背景技术

当前，在产品外观缺陷的检测上，主要采用手持手电筒，多角度打光的人工质检方式，这种检测方式工作强度较大、易受人主观因素影响、效率低，因此，需要采用更为有效的方式完成对产品外观缺陷的检测。

发明内容

本发明提出的一种基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法，可解决上述技术问题。

为实现上述目的，本发明采用了以下技术方案：

一种基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法，包括以下步骤，

样本预处理步骤，所述样本预处理步骤包括获取产品样本图并提取有效区域与最大轮廓区域掩膜图，并作“与”操作处理，得到只保留掩膜区域的产品样本预处理效果图；

计算步骤，所述计算步骤包括采用有效像素概率分布面积等分方法，进行灰度级降维，再通过多通道分区域计算与合并方法，得到灰度共生矩阵GLCM与统计量矩阵；

融合步骤，所述融合步骤包括通过引入3个1×1卷积核作为转换模块，对所述灰度共生矩阵GLCM进行降维处理后，利用多层残差CNN进行特征提取，并将特征提取结果与SwinTransformer Block结构体通过分块合并Patch Merging方式融合，得到所述灰度共生矩阵GLCM的融合结果；同时，采用concat连接方式，将所述统计量矩阵与所述灰度共生矩阵GLCM的融合结果进行二次特征融合，从而构建了灰度共生矩阵GLCM与CNN-Transformer融合的产品缺陷分类模型，进而对产品外观图形进行分类。

进一步的，所述样本预处理步骤具体包括：

S1.1、获取产品外观的原始图像样本数据；

S1.2、预处理所述原始图像样本数据后求取最大轮廓外接矩形坐标，并绘制最大轮廓区域掩膜图；

S1.3、根据所述最大轮廓外接矩形坐标，映射到原始图像，截取有效区域，得到有效区域原始图；

S1.4、将所述有效区域原始图与所述最大轮廓区域掩膜图作“与”操作处理，掩膜区域对应的像素值保留，其他像素点置为(0,0,0)，从而得到样本的预处理效果图。

进一步的，所述计算步骤具体包括，

S2.1.1、利用样本预处理模块的处理方法，得到预处理样本图；

S2.1.2、将得到的预处理样本图输入多通道分区域灰度共生矩阵计算模块，得到灰度共生矩阵GLCM；

S2.1.3、将多通道分区域灰度共生矩阵计算模块计算得到的每个分块图像的灰度共生矩阵，输入多通道分区域灰度共生矩阵统计量计算模块，得到统计量矩阵。

进一步的，所述融合步骤具体包括：

S2.2.1、将步骤S2.1.2计算得到的灰度共生矩阵GLCM输入转换模块，采用3个1×1卷积核，对输入的灰度共生矩阵GLCM进行特征降维处理；