[发明专利]一种基于关系型上下文聚合的图像语义分割方法

说明书

本发明公开了一种基于关系型上下文聚合的图像语义分割方法。本发明针对高分辨率遥感图像背景复杂，尺度变化大等问题，基于关系型上下文聚合机制，在图像语义分割任务中引入语义级多尺度上下文生成器和关系级多尺度上下文整合器。本发明通过语义级多尺度上下文生成器，有效地提取图像中每个语义范围内的语义级上下文信息作为类别表达，并通过关系级多尺度上下文整合器，结合语义内像素与像素之间的关系与语义间像素与类之间的关系，为每个像素构建密集而精确的上下文信息，从而增强像素的特征表达能力，并且减少了背景噪声的干扰。本发明为上下文聚合机制在复杂背景图像的分割任务上提供一种新的解决方案，并且能够提高相应图像语义分割的性能。

技术领域

本发明涉及深度学习以及计算机视觉技术领域，具体涉及一种基于关系型上下文聚合的图像语义分割方法。

背景技术

近年来，随着光学成像遥感技术的快速发展，高分辨率遥感图像的数量和质量有了极大地提高，通过分析这些遥感数据，可以获取土地覆盖信息，为城市管理、规划和检测提供帮助。遥感图像分割为图像中的每个像素获取特定的语义类，是遥感数据分析的关键步骤，从CNN网络引入语义分割领域后，语义分割得到了快速的发展。近年来，语义分割的研究主要集中在两个方面，一是如何改进编码器结构，使模型能够对每个像素提取更稳健的特征表示，二是如何对上下文进行建模，使网络通过将上下文信息编码为原始特征表示来增强每个像素的特征表达能力，这也是本发明的技术重点所在。

现有的上下文聚合的方法主要分为两类：多尺度上下文聚合和关系型上下文聚合。多尺度上下文聚合方法是聚合像素周围一定空间范围内的上下文信息，如PSPNet利用金字塔空间池化聚合多尺度上下文信息，Deeplab引入膨胀卷积来捕获多尺度上下文信息。多尺度上下文聚合应用于遥感图像时，由于其复杂背景的特性将会吸收空间范围内的大量背景噪声而影响分割效果。关系型上下文聚合是利用图像内像素之间的关系或像素与类别区域之间的关系作为权重来进行信息的加权聚合。针对图像内像素之间的关系，DANet提出空间自注意力和通道自注意力，通过计算特征之间的空间相关性和通道相关性来进行信上下文信息聚合，而CCNet通过引入十字交叉注意力来缓解常见的空间注意力计算过程中计算复杂和显存要求高等问题。由于遥感图像具有背景复杂和前背景失衡等特点，这种利用整个图像内的像素之间的关系来进行上下文建模，将会导致前景像素与较多背景像素相关联而受到大量背景干扰，造成分割效果不好。针对像素与类别区域之间的关系，OCRNet提出将像素分为一组区域然后对区域表示进行加权聚集，然而它忽略了同一类别的像素表示的意义，因此类别区域内的对象也吸收了很多其他类别的信息。ISNet提出了语义级上下文信息缓解了这一问题，但是它的语义级上下文信息尺度单一并且过多依赖预分类过程，针对背景复杂的图像会导致分割表现不好。

因此，针对复杂背景图像的分割任务，设计一种性能优越的上下文聚合模块，进而提高图像语义分割的性能，是目前亟待解决的技术问题。

发明内容

本发明要解决的技术问题是如何充分利用深度学习网络中深层特征信息，通过上下文聚合操作后来增强每个像素的特征表达能力，并提供一种基于关系型上下文聚合的图像语义分割方法。

本发明所采用的具体技术方案如下：

一种基于关系型上下文聚合的图像语义分割方法，其具体做法为：将待语义分割的图像输入由编码器模块和解码器模块组成的语义分割模型中，获得语义分割结果；

在所述编码器模块中，首先通过骨干网络进行特征提取，得到浅层特征表示和深层特征表示，其次对深层特征表示进行预分类操作，得到预分类表示，接着将深层特征表示与预分类表示输入到类别级多尺度上下文生成器，得到深层特征表示对应的类别级多尺度上下文，然后将预分类表示与深层特征表示及其对应的类别级多尺度上下文输入到关系级多尺度上下文整合器，对深层特征表示进行上下文信息聚合，将聚合特征与深层特征表示融合后得到加强后的特征表示，最终所述编码器模块将加强后的特征表示与浅层特征表示以及类别级多尺度上下文输出到解码器模块作为解码器模块的模块输入；