[发明专利]基于深度学习的图像语义分割方法及存储介质

说明书

本发明公开了一种基于深度学习的图像语义分割方法及存储介质，图像语义分割方法包括在特征提取网络后串联一个平均全局池化层和全连接层作为分类的预训练模型，并采用Imagenet‑1K数据集对预训练模型进行分类训练；将训练后的预训练模型中的特征提取网络与轻量级ASPP模块和两个特征增强模块依次连接构成语义分割模型；通过翻转、旋转和缩放对数据集cityscapes进行扩充，并采用扩充后的数据集对语义分割模型进行训练，得到目标语义分割模型；将预处理后的新图片输入目标语义分割模型，在目标语义分割模型中进行一次前向传播，端到端地输出预测的语义分割结果。

技术领域

本发明涉及图像处理技术，具体涉及一种基于深度学习的图像语义分割方法及存储介质。

背景技术

当前绝大多数最佳的图像语义分割方法多是以deeplabv3+为基础的编码器-解码器框架。编码器部分：首先deeplabv3+通过在ImagNet数据集上预训练resnet得到特征提取网络，但下采样会降低特征的分辨率，导致信息丢失，于是将最后一个残差块的普通卷积替代为空洞卷积，这个残差块内的每个卷积都使用了不同的扩张率来捕捉多尺度的语境信息。然后，将提取的特征输入到ASPP模块。ASPP模块将输入的特征同时输出到五个模块中，第一个模块采用平均池化对特征进行融合，使得编码模块最后的特征图能够融合图像的多尺度信息，可以提高小目标的分割精度。第2到第5个模块采用了不同膨胀率的空洞卷积对特征进行提取，获得4种拥有不同感受野的特征，膨胀率分别是1，6，12，18。ASPP输出的特征通道数一般来说会很大，所以之后将这五个模块的输出作concat，然后通过一个1x1的卷积层，降低特征的通道数到需要的数值，最后得到编码部分的输出。

解码器部分：编码器输出的特征虽然能够提供丰富的语义信息，但是多次下采样操作会导致特征边界信息丢失，如果直接上采样到原图尺寸会导致语义分割结果的物体边界模糊，分割精度会很低。于是首先将编码模块的输出进行四倍的上采样操作，然后从特征提取网络中选择一张分辨率一致的特征图，这张特征图进行1x1的普通卷积扩大通道数并使之与四倍上采样得到的输出一致，然后将这两部分特征进行concat，最后通过3x3的普通卷积和四倍的上采样得到预测结果。

尽管空洞残差模块和ASPP使得deeplabv3+在图像语义分割上获得了较高的精度，但过大的计算量导致其无法进行实时的场景处理，同时大量的膨胀卷积会导致网格效应，同时直接将上下文特征concat后上采样的解码方式过于粗糙。

发明内容

针对现有技术中的上述不足，本发明提供的基于深度学习的图像语义分割方法及存储介质解决了现有技术中图像语义分割方法运算量大的问题。

为了达到上述发明目的，本发明采用的技术方案为：

第一方面，提供一种基于深度学习的图像语义分割方法，其包括：

在特征提取网络后串联一个平均全局池化层和全连接层作为分类的预训练模型，并采用Imagenet-1K数据集对预训练模型进行分类训练；

将训练后的预训练模型中的特征提取网络与轻量级ASPP模块和两个特征增强模块依次连接构成语义分割模型；

通过翻转、旋转和缩放对数据集cityscapes进行扩充，并采用扩充后的数据集对语义分割模型进行训练，得到目标语义分割模型；

将预处理后的新图片输入目标语义分割模型，在目标语义分割模型中进行一次前向传播，端到端地输出预测的语义分割结果。

进一步，所述特征增强模块包括双通道注意力模块、空间注意力模型和特征融合模块；

所述采用扩充后的数据集对语义分割模型进行训练，得到目标语义分割模型进一步包括：

S1、于扩充后的数据集中随机选取一张图片输入语义分割模型中的特征提取网络得到分辨率为原图1/32的特征图；