[发明专利]基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法、存储介质

权利要求书

1.一种基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法，其特征在于，包括以下步骤，

样本预处理步骤，所述样本预处理步骤包括获取产品样本图并提取有效区域与最大轮廓区域掩膜图，并作“与”操作处理，得到只保留掩膜区域的产品样本预处理效果图；

计算步骤，所述计算步骤包括采用有效像素概率分布面积等分方法，进行灰度级降维，再通过多通道分区域计算与合并方法，得到灰度共生矩阵GLCM与统计量矩阵；

融合步骤，所述融合步骤包括通过引入3个1×1卷积核作为转换模块，对所述灰度共生矩阵GLCM进行降维处理后，利用多层残差CNN进行特征提取，并将特征提取结果与SwinTransformer Block结构体通过分块合并Patch Merging方式融合，得到所述灰度共生矩阵GLCM的融合结果；同时，采用concat连接方式，将所述统计量矩阵与所述灰度共生矩阵GLCM的融合结果进行二次特征融合，从而构建了灰度共生矩阵GLCM与CNN-Transformer融合的产品缺陷分类模型，进而对产品外观图形进行分类。

2.根据权利要求1所述的基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法，其特征在于：所述样本预处理步骤具体包括：

S1.1、获取产品外观的原始图像样本数据；

S1.2、预处理所述原始图像样本数据后求取最大轮廓外接矩形坐标，并绘制最大轮廓区域掩膜图；

S1.3、根据所述最大轮廓外接矩形坐标，映射到原始图像，截取有效区域，得到有效区域原始图；

S1.4、将所述有效区域原始图与所述最大轮廓区域掩膜图作“与”操作处理，掩膜区域对应的像素值保留，其他像素点置为(0,0,0)，从而得到样本的预处理效果图。

3.根据权利要求1所述的基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法，其特征在于：所述计算步骤具体包括，

S2.1.1、利用样本预处理模块的处理方法，得到预处理样本图；

S2.1.2、将得到的预处理样本图输入多通道分区域灰度共生矩阵计算模块，得到灰度共生矩阵GLCM；

S2.1.3、将多通道分区域灰度共生矩阵计算模块计算得到的每个分块图像的灰度共生矩阵GLCM输入多通道分区域灰度共生矩阵统计量计算模块，得到统计量矩阵。

4.根据权利要求1所述的基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法，其特征在于：所述融合步骤具体包括：

S2.2.1、将步骤S2.1.2计算得到的所述灰度共生矩阵GLCM输入转换模块，采用3个1×1卷积核，对输入的所述灰度共生矩阵GLCM进行特征降维处理；

S2.2.2、将步骤S2.1.3得到的所述统计量矩阵输入到CNN-Transformer融合模块的Transformer融合模块，将步骤S2.2.1的处理结果输入到CNN-Transformer融合模块的CNN融合模块；

S2.2.3、将步骤S2.2.2的CNN-Transformer融合模块计算结果输入多层感知器MLP模块。

5.根据权利要求3所述的基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法，其特征在于：所述步骤S2.1.2中所述的多通道分区域灰度共生矩阵计算模块的计算方法，具体包括：

S2.1.2.1、将预处理样本图分为RGB三通道，灰度共生矩阵GLCM分为16个灰度级，采用有效像素概率分布面积等分方法，对预处理样本图的R、G、B三个通道分别计算由256灰度级转为16灰度级的分割灰度阈值；

S2.1.2.2、将步骤S2.1.2.1后的各通道图像均匀分为14×14个分块图像，计算每一个分块图像在、、、共计4个方向上的灰度共生矩阵GLCM，并作归一化处理，在4个方向上，合并各分块图像的灰度共生矩阵GLCM，从而每个通道图像得到4个灰度共生矩阵GLCM，3通道RGB图像共计得到12个灰度共生矩阵GLCM。