[发明专利]一种用于图像语义分割的新型超分模块和上采样方法

说明书

本发明提供了一种用于图像语义分割的新型超分模块和上采样方法，通过采用新的超分模块代替深度神经网络结构的上采样方法，在保证分割速率的同时保留图像的特征信息，使得图像经过上采样后保留了更多的细节特征，得到更加精确的分割图像。本发明结合PixelShuffle操作、ASPP模块以及双线性插值得到新的超分模块，通过自适应学习的方式改进上采样特征的表达能力，提升了语义分割对象的整体性能。本发明将超分辨率方法引入到图像分割任务中，通过替代插值实现上采样得到了具有更大感受野和更多细节信息的特征图，使图像上采样时输出的特征图具有更多特征。本发明能够运用在大多数网络结构中得到更好的分割效果，适用范围更广。

技术领域

本发明属于深度学习技术领域，具体涉及一种用于图像语义分割的新型超分模块和上采样方法。

背景技术

数字图像目标分割与提取是数字图像处理和计算机视觉领域中一个备受关注的研究分支。随着深度学习技术的提出和发展，国内外科研机构提出了许多针对图像分割的方法，使得图像分割任务在近十年中得到了广泛的关注和长足的发展。使得语义分割在不同的领域取得了一定的成果。。

图像超分辨率重建技术分为两种，一种是从多张低分辨率图像合成一张高分辨率图像，另外一种是从单张低分辨率图像获取高分辨率图像，目前在深度学习领域采用单幅图像超分辨率重建技术(SISR)对图像进行放大。基于CNN(卷积神经网络)的模型SRCNN首先将CNN引入SISR中，它仅仅使用三层网络，就取得了先进的结果。随后，各种基于深度学习的模型，进入SISR领域，大致分为以下两个大的方向。一种是追求细节的恢复，以PSNR,SSIM等评价标准的算法，其中以SRCNN模型为代表。另外一种以降低感知损失为目标，不注重细节，看重大局观，以SRGAN为代表的一系列算法。两种不同方向的算法，应用的领域也不相同。

目前，在语义分割任务中，以全卷积神经网络FCN为代表的方法，虽然取得了很大的成就，但仍有很多问题需要解决，比如精度问题、对细节的不敏感、像素之间的关系、忽略空间一致性等。后续的研究对这些问题进行了很大的改进，并研发了一系列的网络结构，比如LEDNet、FastSCNN和U-Net等。在现有的网络结构中池化操作被广泛使用，池化层通过模仿人类视觉系统来降低数据的维数，并且通常在卷积层之后使用，以此来降低特征图的输出维数，可以有效加快模型训练速度，防止过拟合的发生。但是，池化操作在缩小图像尺寸后会导致大量信息丢失。为了解决这个问题，研究人员陆续提出了一些方法，如空洞卷积、直接上采样或基于transformer的方法。

这些方法在一定程度上可以减轻信息的损失，但是在训练过程中会引入其他问题。首先，使用空洞卷积会导致网格效应，这会降低分割的性能。此外，小目标分割的性能仍有待提高。其次，直接使用上采样来提升图像特征分辨率，导致图像结构信息的缺失。第三，基于transformer的方法克服了卷积局部性的缺点，构建了全局特征的关系。但是引入transformer后，网络的计算量会增加，计算复杂度会更高，同时对数据的需求相比卷积网络更大，这增加了分割的时间和成本。因此，本发明提出了一种用于图像语义分割的新型超分模块，并将该模块嵌入网络上采样层中替换原本的双线性操作，不增加过多的计算量的同时使得获取到的特征能够更好的进行图像分割。

发明内容

本发明要解决的技术问题是：提供一种用于图像语义分割的新型超分模块和上采样方法，用于替换上采样中的双线性插值从而得到具有更多信息的特征。