[发明专利]一种自监督下基于图像分割的表面缺陷异常定位和检测方法

权利要求书

1.一种自监督下基于图像分割的表面缺陷异常定位与检测方法，其特征在于：包括如下步骤：

将训练样本输入数据增广网络中实现输入样本的随机增强；

将数据增广网络输出的随机增强样本送入重建子网络，所述重建子网络中添加SE通道注意力模块；

将数据增广网络输出的随机增强样本与其进入重建子网络得到的输出样本在通道处进行级联，送入图像分割子网络，所述图像分割子网络为由mobileNetv1与UNet融合而成的mobileUNet图像分割网络；

模型开始训练，损失函数反向传播，不断更新重建子网络和图像分割子网络各层的参数，直至训练完成；

测试样本与其进入训练好的重建子网络得到的输出样本在通道处进行级联，送入训练好的图像分割子网络，获取像素级异常定位图；

由异常定位图获取该测试样本对应的实例级异常评分，根据评分判断测试样本是正常类还是异常类。

2.根据权利要求1所述的异常定位与检测方法，其特征在于：将训练样本输入数据增广网络中实现输入样本的随机增强，包括以下步骤：

搭建数据增广网络，实现对输入正常样本的正常增强或引入局部不规则异常构造伪异常样本；

输出增强后的正常样本或构造的伪异常样本，及它们对应的标签和像素完美的异常图，用作后续监督。

3.根据权利要求2所述的异常定位与检测方法，其特征在于：搭建数据增广网络，实现对输入正常样本的正常增强或引入局部不规则异常构造伪异常样本，具体步骤包括：设置两个随机值α,β，其取值在0-1区间内；

当α0.5时，只对该正常样本I进行随机的正常增强，包括旋转、偏置、锐度、日光、均衡、亮度变化、颜色变化、自动对比度改变等操作，而不进行异常处理，输出增强后的正常样本I_aug，其标签设为0，由于不存在异常，对应输出的异常图M设置为一张与输入图片相同尺寸的纯黑的图片；

当α≤0.5时，对该正常样本进行异常处理，引入局部不规则异常，当β0.5时，基于cutpaste增强生成伪异常样本，当β≤0.5时，基于柏林噪声生成伪异常样本，最后输出增强后的伪异常样本I_aug，其标签设为1，对应输出的异常图M表现为正常区域呈黑色，局部异常处呈白色。

4.根据权利要求1所述的异常定位与检测方法，其特征在于：所述重建子网络包括编码器和解码器，所述编码器中在卷积层提取到的特征之后添加SE通道注意力模块；所述SE通道注意力模块由全局池化层、降维全连接层、ReLU激活层、升维全连接层、sigmoid激活层组成，通过Squeeze、Excitation、Scale三个操作，对输入特征图进行各通道上的特征加强。

5.根据权利要求1所述的异常定位与检测方法，其特征在于：图像分割子网络的构建方法包括以下步骤：

搭建mobileNetv1网络的基本结构；

搭建UNet图像分割网络的基本结构；UNet网络中左边的收缩路径采用若干层标准卷积层、BN层、ReLU激活层与最后大池化层的组合下采样处理后，实现对输入图片的特征提取，在对称的上采样恢复图像的过程中，将左侧收缩路径中下采样得到的低层次、高层次特征以跳接形式传递到右边的扩张路径中，两边相同大小的特征图进行级联后再继续上采样；

实现模型融合，搭建最终的mobileUNet图像分割网络；在原扩张路径中，使用mobileNetv1中的深度可分离卷积层代替原UNet网络中的标准卷积层。每个深度可分离卷积包含深度卷积和逐点卷积两步，深度卷积首先在每个输入通道上进行卷积，进行特征提取，之后逐点卷积则将深度卷积的输出与一个1*1的卷积核进行卷积，用来调整通道数并进行深度特征提取，其中添加BN层用来增加泛化性，添加ReLU6激活层引入更多的非线性；将深度分离卷积后得到的特征同样以跳接形式传递到右侧网络，两边相同大小的特征图进行级联后再进行与UNet扩张网络中相同的上采样，最后恢复成原输入图片的大小256*256。