[发明专利]一种基于关系型上下文聚合的图像语义分割方法

权利要求书

1.一种基于关系型上下文聚合的图像语义分割方法，其特征在于：将待语义分割的图像输入由编码器模块和解码器模块组成的语义分割模型中，获得语义分割结果；

在所述编码器模块中，首先通过骨干网络进行特征提取，得到浅层特征表示和深层特征表示，其次对深层特征表示进行预分类操作，得到预分类表示，接着将深层特征表示与预分类表示输入到类别级多尺度上下文生成器，得到深层特征表示对应的类别级多尺度上下文，然后将预分类表示与深层特征表示及其对应的类别级多尺度上下文输入到关系级多尺度上下文整合器，对深层特征表示进行上下文信息聚合，将聚合特征与深层特征表示融合后得到加强后的特征表示，最终所述编码器模块将加强后的特征表示与浅层特征表示以及类别级多尺度上下文输出到解码器模块作为解码器模块的模块输入；

所述类别级多尺度上下文生成器以深层特征表示和预分类表示作为输入，首先通过预分类表示获取每个像素的类别概率分布，利用该类别概率分布获得每个像素属于不同类别的确定度，然后针对不同的尺度，在每个尺度范围内利用该尺度范围内的特征的确定度作为权重加权该特征，从而得到每个尺度内不同语义的类别级特征，最终将不同尺度内的类别级特征进行拼接，从而得到每个输入的特征表示所对应的类别级多尺度特征表示；

所述关系级多尺度上下文整合器以预分类表示与深层特征表示及其对应的类别级多尺度特征表示作为输入，首先通过预分类表示，计算每个类别内像素之间的类别分布概率的相似度，然后再通过深层特征表示与类别级多尺度特征表示，计算特征表示中的每个像素与类别级多尺度特征表示之间的相似性，并通过分布概率的相似度加权该相似性，从而获得整合后的像素与类别级多尺度特征表示之间的相似度，利用该相似度与类别级多尺度特征表示相乘并与原深层特征表示沿通道费按序拼接，从而获得加强后的特征表示；

在所述解码器模块中，首先将加强后的特征表示上采样后与浅层特征表示融合，得到融合后的特征表示，然后在融合后的特征表示与类别级多尺度特征表示之间运用注意力机制，得到加强后的融合特征表示，最终通过对加强后的融合特征表示进行上采样操作，得到待分割图像的语义分割结果。

2.如权利要求1所述的基于关系型上下文聚合的图像语义分割方法，其特征在于，所述骨干网络为带有膨胀卷积的Resnet-50模型，且加载image-net数据集上学习得到的预训练权重。

3.如权利要求2所述的基于关系型上下文聚合的图像语义分割方法，其特征在于，所述深层特征表示从Resnet-50的第四个残差单元输出，浅层特征表示从Resnet-50的第一个残差单元输出。

4.如权利要求1所述的基于关系型上下文聚合的图像语义分割方法，其特征在于，所述预分类操作由连续的两个1×1卷积实现。

5.如权利要求1所述的基于关系型上下文聚合的图像语义分割方法，其特征在于，所述类别级多尺度上下文生成器中尺度数固定为4。

6.如权利要求1所述的基于关系型上下文聚合的图像语义分割方法，其特征在于，所述语义分割模型在用于实际语义分割之前，预先利用标注后的训练数据进行训练。

7.如权利要求6所述的基于关系型上下文聚合的图像语义分割方法，其特征在于，所述训练数据需进行数据增强。

8.如权利要求6所述的基于关系型上下文聚合的图像语义分割方法，其特征在于，所述语义分割模型训练采用的损失函数均为交叉熵损失。

9.如权利要求1所述的基于关系型上下文聚合的图像语义分割方法，其特征在于，所述类别级多尺度上下文生成器中，将预分类表示中每个像素点的类别概率分布中最大概率减第二大概率求得的差值作为该像素点属于该最大概率对应类别的确定度。

10.如权利要求1所述的基于关系型上下文聚合的图像语义分割方法，其特征在于，所述图像为遥感图像。