[发明专利]一种基于空间金字塔掩盖池化的弱监督图像语义分割方法

权利要求书

1.一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，包括以下步骤：

步骤一：选定一个卷积神经网络H，通过卷积神经网络H处理输入图像X，得到分类特征图；

步骤二：根据分类特征图建立空间金字塔池化模块，然后进行空间金字塔掩盖，得到输出特征图；

步骤三：根据输出特征图计算类别激活向量和类别概率向量，具体包括：

步骤301：计算类别激活向量o_i，即将空间金字塔掩盖池化的输出特征图O_i归为一个值，计算公式为：

步骤302：通过Softmax函数计算类别概率向量，得到每一待确定语义类别的概率值，计算公式为：

其中，N为总金字塔数目；

然后建立竞争性空间金字塔掩盖池化损失函数；

步骤四：根据竞争性空间金字塔掩盖池化损失函数训练卷积神经网络H并提取分割特征图。

2.根据权利要求1所述的一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，其特征在于所述步骤一中通过卷积神经网络H处理输入图像X的步骤具体为：

步骤101：选定一个卷积神经网络H，经过所述卷积神经网络H映射得到分割特征图其中，C为目标类别数量，W为权重参数，为实数域；

步骤102：通过1×1卷积将分割特征图降维，得到分类特征图计算公式为：

F_cls＝F_seg×W+b

其中，b为偏置，

3.根据权利要求2所述的一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，其特征在于所述的步骤二具体为：

步骤201：对所有分类特征图进行平均池化，同时指定总金字塔数目N和池化核大小，得到相应的金字塔池化特征图P_i，其中，i为金字塔序号，取值范围介于1到总金字塔数目之间，计算第i个金字塔池化特征图的计算公式为：

其中，k_i为第i个金字塔的池化核大小，x为特征图横坐标，y为特征图纵坐标，Δk_x为池化核横坐标，Δk_y为池化核纵坐标，C为语义类别数量；

步骤202：对每个金字塔池化特征图生成掩盖张量同时设定区域掩盖比例和掩盖量化系数；

步骤203：根据掩盖张量计算空间金字塔掩盖池化的输出特征图计算公式为：

O_i＝P_i⊙M_i

其中，⊙表示hadamard乘积。

4.根据权利要求3所述的一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，其特征在于所述步骤202中，记第i个金字塔掩盖张量为记第j类金字塔掩盖张量为不同类别的所述金字塔掩盖张量的区域掩盖位置和掩盖量化系数一致：

随机生成的掩盖区域占该金字塔池化区域数目的比例为τ，

其中，τ的取值范围为[0，1]，τ的值越大表示掩盖的区域越多，表示(1-τ)H_iW得到的值向下取整，I(·)表示指示函数，I(·)在输入条件满足时取1，其它情况下取0，即满足的位置为被保留区域，其它情况为掩盖的区域；

所述的掩盖量化系数ρ用于抑制信号；

其中，ρ的取值范围为[0，1]。

5.根据权利要求4所述的一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，其特征在于所述步骤三中，建立竞争性空间金字塔掩盖池化损失函数具体包括以下步骤：

步骤303：计算每个金字塔的分类损失l_i，计算公式为：

其中，为图像语义类别标签向量且于出现相应语义类别目标处取1其它处取0，T为转置符号；

步骤304：将第0级全局池化信息完全保留，其它进行了信息掩盖的金字塔进行动态竞争，计算公式为：

其中，l_cls为总分类损失函数，l₀为全局池化金字塔的损失。

6.根据权利要求2所述的一种基于空间金字塔掩盖池化的弱监督图像语义分割方法，其特征在于所述的步骤四具体为：以总分类损失函数计算误差并通过反向传播算法调整网络参数直到该损失函数相对变化小于5％后，直接将F_seg取出并在类别维度取argmax即可得到预测分割图

Y＝argmax(F_seg)

其中，argmax为F_seg的第3维。