[发明专利]用于语义分割的特征图提取方法及系统

权利要求书

1.一种用于语义分割的特征图提取方法，其特征在于，包括：

获取图片的残差网络特征图，进行类别激活映射，得到热力图；

对残差网络特征图进行卷积操作，计算得到的不同的卷积特征图间同一位置像素点的相关性，得到第一特征图；

对热力图进行卷积操作后，与第一特征图进行第一次融合计算处理，得到第二特征图；

将第二特征图进行卷积操作，计算得到的不同的卷积特征图间同一位置像素点的相关性，得到第三特征图；

将第三特征图与卷积操作后的热力图进行第二次融合计算处理，得到最终的用于语义分割的特征图；

实现用于语义分割的特征图提取方法的具体步骤包括：

步骤一：将图片输入主干网络得到特征图H；

步骤二：将特征图H分别输入CAM模块和循环十字注意力模块的第一CrossNet模块；

步骤三：输入CAM模块的特征图H经过处理得到Original CAM特征图，并将其输入循环十字注意力模块的第一CrossNet模块；

步骤四：循环十字注意力模块的第一CrossNet模块将输入的特征图H和Original CAM特征图理后得到特征图H′，特征图H′上的各个像素点与其十字方向上的各个像素点有不同的关联度；将H′和Original CAM特征图输入循环十字注意力模块的第二个模块；

步骤五：循环十字注意力模块的第二个模块将输入的特征图H′和Original CAM特征图处理后得到特征图H″，特征图H″上的各个像素与其余像素都有不同的关联度。

2.根据权利要求1所述的用于语义分割的特征图提取方法，其特征在于，得到第一特征图包括：

将残差网络特征图分别通过两个1*1卷积得到两个通道数为C′的卷积特征图Q、K；

取特征图Q上任意一个C′维度的点u，记为Q_u∈R^C′；

将特征图K中和u位于同一行同一列的其他C′维的像素点向量加入到集合Ω_u＝R^{(H+W-1)×C′}，其中，H为图像的高度，W为图像的宽度；

计算得到代表特征图Q中的像素点u与特征图K中与u在同一行和同一列的像素点之间的相关性，再经过softmax进行归一化，得到第一特征图A。

3.根据权利要求2所述的用于语义分割的特征图提取方法，其特征在于，对热力图进行卷积操作后，与第一特征图进行第一次融合计算处理，得到第二特征图包括：

将热力图通过1*1卷积得到通道数为C的卷积特征图V；

将特征图V中与u位于同一行同一列的其他C维的像素点向量加入到集合Φ_u∈R^(H+W-1)×C中；

将第一特征图A与Φ_u相乘再加上初始的残差网络特征图，最终得到与输入图像尺寸相同的第二特征图。

4.根据权利要求3所述的用于语义分割的特征图提取方法，其特征在于，得到第三特征图包括：

将第二特征图分别通过两个1*1卷积得到两个通道数为C″的卷积特征图Q′、K′；

取特征图Q′上任意一个C″维度的点u′，记为Q_u′∈R^C″；

将特征图K′中和u′位于同一行同一列的其他C″维的像素点向量加入到集合Ω_u′＝R^{(H+W-1)×C″}；

计算得到代表特征图Q′中的像素点u′与特征图K′中与u′在同一行和同一列的像素点之间的相关性，再经过softmax进行归一化，得到第三特征图。

5.根据权利要求4所述的用于语义分割的特征图提取方法，其特征在于，第三特征图与卷积操作后的热力图进行第二次融合计算处理，得到最终的用于语义分割的特征图包括：

将特征图V中与u′位于同一行同一列的其他C维的像素点向量加入到集合Φ_u″∈R^(H+W-1)×C中；

将第三特征图与Φ_u″相乘再加上初始的残差网络特征图，得到最终用于语义分割的特征图。