[发明专利]一种基于图像边界知识迁移的引导语义分割方法

权利要求书

1.一种基于图像边界知识迁移的引导语义分割方法，其特征在于包括如下步骤：

S1，构建引导分割模块，引导分割模块包括：引导特征提取层和目标分割网络，其中，目标分割网络包括编码层与解码层，引导特征提取层和目标分割网络的编码层，共享相同结构；

对 于给定的目标图像、引导图和掩模对，表示仅带有目标种类标签的目标数据集，表示带有精细化分割标注的目标数据集，表示引导图，表示掩模，抽取到的特征表达分别为和，*表示逐像素乘积，随后将特征表达和拼接起来，作为目标分割网络解码层的输入[]，通过目标分割网络得到目标掩模，简化为，为需要学习的引导特征提取层和目标分割网络；

S2，构建约束条件，包括如下步骤：

S21，有限样本监督，在训练阶段，有限标注的样本输入至目标分割网络，并直接产生监督信息，得到有限样本监督的损失函数；

S22，表达一致性约束，采用最大化均值差异MMD来约束特征表达的一致性，得到表达一致性约束的损失函数；

S23，边界一致性约束，通过针对图像分割边界的约束来增强自监督的结果，得到边界一致性损失函数；

S3，构建边界知识迁移模块，包括如下步骤：

S31，伪三元组判别数据生成；

S32，边界对抗学习，通过所述约束条件和所述判别数据，将源数据集的边界知识迁移到分割网络中。

2.根据权利要求1所述的一种基于图像边界知识迁移的引导语义分割方法，其特征在所述步骤S2中，*表示哈达玛积。

3.根据权利要求1或2所述的一种基于图像边界知识迁移的引导语义分割方法，其特征在于所述步骤S21中，给定输入以及引导图和掩模对，通过目标分割网络，得到分割结果，定义有限样本监督的损失函数为，是拉普拉斯平滑参数，用于防止分母为0时产生误差。

4.根据权利要求1或2所述的一种基于图像边界知识迁移的引导语义分割方法，其特征在于所述步骤S22中，定义为引导图的特征编码器，此时定义表达一致性约束为，利用约束引导图的图像语义级别特征与待分割的目标图像之间的一致性，达到语义级别分割的目的。

5.根据权利要求1或2所述的一种基于图像边界知识迁移的引导语义分割方法，其特征在于所述步骤S23中，给定随机仿射变换矩阵，以及目标图像变换后的分割结果和，，计算边界边缘权重和，和分别表示膨胀和腐蚀操作，定义边界一致性损失函数，使图像进行仿射变换后的分割边缘与分割后的仿射变换一致，同时在图像轮廓上更加明显，形成边界一致性约束。

6.根据权利要求3所述的一种基于图像边界知识迁移的引导语义分割方法，其特征在于所述步骤S31包括如下步骤：

S311，定义外边界判别损失，得到外边界预测三元组的判别器结果；

S312，定义内边界判别损失，得到内边界预测三元组的判别器结果。

7.根据权利要求6所述的一种基于图像边界知识迁移的引导语义分割方法，其特征在于所述步骤S311，从目标数据采样样本和引导图和掩模对中采样，分割网络预测出目标掩模；

计算分割目标，并拼接成判别数据的预测三元组，从无关数据集选取样本，O表示开源语义分割标注数据集，则对应的真值三元组为，针对样本的真值掩模，通过膨胀操作计算，得到伪三元组，；

定义外边界判别损失：

其中，E表示数学期望，表示以为参数的判别器结果，表示对应到外边界判别约束，表示超参数，，，分别表示外边界分割预测三元组分布、膨胀后伪三元组分布以及真实三元组分布，表示在预测分布和真实分布之间的插值样本的分布，插值样本，表示0和1之间的随机数。