[发明专利]一种基于峰值挖掘和过滤的弱监督实例分割方法

权利要求书

1.一种基于峰值挖掘和过滤的弱监督实例分割方法，其特征是构建图像分类网络和实例分割网络，以图像级类别标签作为监督进行训练，先训练图像分类网络，再由图像分类网络得到实例分割网络的训练数据进行监督训练，进而完成实例分割，

图像分类网络包括以下配置：

1)特征融合，使用ResNet50作为主干网络提取图像特征，将来自网络中不同层、不同尺寸的特征图进行融合，生成表征和语义信息更丰富的特征图；

2)对抗擦除，对特征图进行降维并转化成类别激活图，针对真值类别对应的类别激活图中显著区域，在特征图上进行擦除并采用特征均值进行填充，再利用卷积层对填充后的特征图重新进行类别激活以拓展语义响应区域；其中擦除前和擦除后两个分支采用两个不同参数的分类器用于图像识别，进而激活输出擦除前后两个类别激活图；

3)峰值激活，采用峰值对图像中的物体进行定位和分类，生成表征独立物体的局部显著峰值，某一语义类别的类别激活图上局部最显著的峰值表示该位置存在一个该类别的物体，通过局部最大池化得到局部峰值并以语义标注信息进行监督，采用Maxpooling层分别对2)中擦除前后得到的类别激活图进行池化操作，得到来自擦除前后分支激活的峰值列表；

4)过滤模块，针对1)得到的特征图旁加一个与擦除前后分支及峰值激活层不同类型的分类器，独立判别物体的语义类别；

实例分割网络包含图像分类网络，在图像分类网络的基础上，对擦除前后的分支响应进行聚类分析和迭代检索，再结合过滤模块过滤掉不符合置信度要求的分割掩膜，得到实例分割结果，具体为：由训练集训练图像分类网络后，在图像分类网络上，对待进行实例分割的包含无类别候选分割掩膜集合的测试图像，利用网络梯度计算概率依赖，得到峰值在原图上的响应即峰值响应图，并基于峰值的深度特征进行聚类分析，合并来自同一物体的不同峰值响应图，在进行实例分割时，利用峰值响应图迭代地检索原图对应的无类别候选分割掩膜集合，并选取最佳匹配项作为该物体的分割掩膜，同时结合过滤模块得到的物体的类别信息和形状信息更新置信度，以过滤低质量分割掩膜，最后利用上述方法对训练图像分类网络的训练集图像进行实例分割，生成具备伪像素标注的数据集，用于完全监督实例分割算法的监督训练。

2.根据权利要求1所述的一种基于峰值挖掘和过滤的弱监督实例分割方法，其特征是包括以下步骤：

1)处理样本阶段，训练样本包括RGB图像及其对应的类别标注，其中对输入图像进行水平概率翻转的数据增强，测试样本包括RGB图像，以及采用MCG算法生成每张图像对应的无类别候选分割掩膜集合；

2)网络配置阶段，以RGB图像作为输入并以图像级类别标签作为监督，图像分类网络包括以下配置：

2.1)特征融合，使用ResNet50作为主干网络提取图像特征，Resnet50包括layer0、layer1、layer2、layer3和layer4，融合来自layer3和layer4的特征，得到融合的特征图F_last；

2.2)对抗擦除，对于每张输入样本，在相同的类别标注监督下，采用两个不同参数的分类器结构进行图像识别，对于2.1)特征融合后得到的特征图F_last，擦除前分支记为Branch_A，采用一个卷积核尺寸为1*1步长为1的卷积层进行激活，特征图的通道数由2048转化为语义类别数量C，Branch_A的输出称为类别激活图记为M_A，将语义类别转化为数字标注，对于N个前景类别，采用1*N的向量进行表示，图像存在该类别则对应索引位置值为1，反之值为0，监督训练时根据图像真值类别选取M_A上对应通道数层，并生成前景显著图记为M_s，首先对第i层类别激活图进行归一化，将图中每个位置的元素除以图中最大元素与最小元素之差，随后选取0.6的阈值进行过滤，得到对应类别的显著图训练时将同一图像中不同真值类别对应的显著图进行合并，得到全图的前景显著图，随后根据前景显著图M_s擦除特征图F_last上对应区域，得到擦除后的特征图记为F_erase，对于F_last仅保留M_s中值为0的区域，而M_s中值为1的区域，采用F_last中对应M_s上值为0的区域的均值进行填充，经过擦除后的分支记为Branch_B，进行激活得到类别激活图记为M_B，将F_erase的通道数由2048转化为语义类别数量C，擦除前后分支网络结构相同但并不共享参数，且网络参数均采用随机初始化；

2.3)峰值激活，采用Maxpooling层分别对2.2)中擦除前后得到的类别激活图M_A和M_B进行池化操作，得到来自擦除前后分支激活的峰值列表P_A和P_B，池化的窗口尺寸大小为3*3，具体的计算过程如下：

其中G表示经过峰值激活后的类别激活图，c,x,y分别表示类别以及池化操作中核能够访问的区域，f表示最大池化函数，N^c表示第c类别产生的峰值个数；

保存类别激活图经过池化后的值即为峰值，并保留其对应的位置，采用s,b,c,h,w五个参数表示峰值，s表示对应语义类别的值，b表示对应的批处理中的图像索引，c表示语义类别，h表示在特征图平面位置的纵坐标，w表示在特征图平面位置的纵坐标；对于生成的峰值列表进行过滤，采用每张图片每个类别的中值对该特征图平面产生的峰值进行筛选，其中将每张图片来自擦除前后分支的每个类别在特征图平面过滤得到的峰值计算均值，得到分类输出S_A和S_B；

2.4)过滤模块，对于2.1)中的layer4输出的特征图，首先采用Average Pooling进行池化，接着对池化后的特征图进行Flat平坦化，将其二维平面转化为一维向量，随后采用一个全连接层进行激活且参数随机初始化，同时采用Softmax层计算每个类别的概率并作为分类器的输出S_C；

3)训练阶段，对于上述网络配置，利用在Imagenet数据集预训练的主干网络和响应参数，在目标数据集对具备三个不同分类器的分类网络进行监督训练；训练中，S_A，S_B，S_C分别经由损失函数MultiLabelSoftMarginLoss计算相对于真实类别标注的损失；

4)测试阶段，对待进行实例分割的图像，利用上述训练收敛的模型为图像中的物体生成分割掩膜，包括以下流程：

4.1)峰值响应，对于擦除前后网络分支生成的峰值集合，通过梯度计算概率依赖在原图得到生成该峰值的响应区域即峰值响应图；

4.2)聚类分析，基于峰值位置的深度特征进行聚类分析，将来自同一物体的不同峰值响应图合并以增加其多样性和完整性；

4.3)迭代检索，基于同类别的不同分割掩膜交并比高极大概率对应同一物体的原理，利用峰值响应图迭代地从无类别的候选分割掩膜集合中检索最佳匹配项作为分割掩膜；

4.4)过滤策略，结合4.3)中峰值响应图与分割掩膜之间的匹配得分，以及在擦除前后网络分支之外旁加的分类器对该分割掩膜区域的分类评分，更新最终的置信度，并过滤置信度低的分割掩膜，得到最终的实例分割结果。