[发明专利]一种自监督下基于图像分割的表面缺陷异常定位和检测方法

说明书

本发明涉及图像异常定位领域，解决了先验知识少、样本数量与类型少、缺乏监督信息、无法实现高质量像素级异常精定位的问题，尤其涉及一种自监督下基于图像分割的表面缺陷异常定位与检测方法，基于轻量级的图像分割子网络，在多类样本参与的情况下，使用数据增广网络提供的自监督信息，以及添加通道注意力机制的重建子网络所提供的辅助异常分割的必要信息，完成了具有表面缺陷异常样本像素级的异常精定位，并基于分割网络输出的异常特征层，通过聚合局部响应信息等处理，得到了样本对应的实例级异常评分，同时实现了实例级的异常检测任务。

技术领域

本发明涉及图像异常检测技术领域，尤其涉及一种自监督下基于图像分割的表面缺陷异常定位和检测方法。

背景技术

图像领域的异常检测是一个重要的机器学习问题。由于在很多实际应用场景中，只能收集到正常图像样本，而异常图像样本罕见且难以采集，没有有效的监管信息可以使用，而且，异常样本或异常图案通常在形状、颜色和大小上都是可变的，不具有稳定的统计规律，所有这些都将使机器学习模型难以捕捉到足够的统计信息或异常图像模式的显著特征，因而在图像异常检测领域，不同于现有大多数机器学习方法基于静态和封闭系统的假设，它研究的是在开放和动态的系统环境下，机器学习模型如何利用仅有的部分知识(正常图像数据或分布)处理未知和不确定信息(变化多样的异常)。由于一般异常检测算法所使用的先验知识过少，导致相关模型很难检测出复杂多变的各类异常，因此，如何提供更多的先验知识，包括更多数量和类型的训练样本和监督信息等，成为图像异常检测需要解决的问题之一。

由于图像检测粒度不同，图像异常检测可分为图像级和像素级异常检测两类。其中，图像级异常检测通常只关注整个图像是否正常或异常的问题，而像素级异常检测则需要对图像中的异常区域进行检测或定位。在工业图像上，表面缺陷异常主要指检测样品表面的划痕、缺陷、异物遮挡、颜色污染、孔洞等缺陷，这些缺陷异常往往只占据整张图片的一小部分，通常与正常样本十分接近，那么该类图片的检测往往是细粒度的，需要精确到像素级别的异常检测和定位。现阶段，常用的图像异常定位方式主要包括：在整张图像中基于Grad-CAM可视化定位，但存在只能实现异常粗定位，往往包含很多正常区域的问题；在整张图像中基于重构图像前后像素残差热力图定位或将整张图片划分为多个patch，逐区域基于重构图像前后结构相似性SSIM定位，但由于重构类异常检测方法普遍存在的模型泛化问题，使得该类方法下像素级异常定位与实例级异常检测性能无法同时达到最优，存在矛盾。因此，在工业图像中，如何实现表面缺陷异常高性能的像素级定位与检测，成为该领域需要解决的问题之一。

在图像领域，常见的任务是对图像的分类，该任务是较为粗粒度的来识别和理解图像。即是给定一张图像，期望模型输出该张图像所属的类别(离散标签)，但是图像语义分割在图像分类任务上更为细化。图像语义分割通过对每个像素进行密集的预测、推断标签来实现细粒度的推理，从而使每个像素都被标记为其对应的类别，从而进行每个类别区域精确分割，是像素级别的图像分类。在图像语义分割领域，以UNet网络作为其中一个经典网络，它是基于卷积神经网络体系结构设计而成的，由德国图像处理专家Olaf Ronneberger等人于2015年首次提出并应用于计算机视觉领域完成语义分割任务，最早应用于生物医学图像分割，能够有效提取图像特征，并取得了较高的分割精度。通过收缩路径和扩张路径两部分结构，使用跳接结构实现了特征融合，避免了在降维过程中因部分有效特征信息丢失而影响网络分割精度的问题，整个网络具有较高分割精度、训练效率高、对小样本数据友好、结构简单明了、易于解释扩展修改等优点，因而得到了广泛应用。然而，该网络以VGG16作为特征提取网络，存在的多个卷积层、上采样、下采样操作等给整个算法带来了很大的参数量和计算量，影响模型训练和推理的速度，实时性差，并且对硬件配置提出了更高的要求，往往需要更高的计算能力以及较大的存储空间来存储模型参数和中间特征图。

鉴于图像语义分割实现的像素级分类功能，如何将图像分割引入异常检测领域，实现未知异常的像素级定位和检测，以及如何在保持模型检测精度的同时实现模型的轻量化成为当下值得研究和探索的问题。

发明内容