[发明专利]一种语义分割方法及应用其的道路积水检测方法和装置

说明书

本申请提出了一种语义分割方法及道路积水检测方法和装置，该语义分割方法包括：将待处理图像输入语义分割模型，语义分割模型包括主干网络、多尺度特征提取网络和语义分割预测头部，多尺度特征提取网络包括并联的多个全局特征提取网络，其中，每一全局特征提取网络至少包括串联的一个或多个全局特征提取模块，全局特征提取模块为嵌入了多个堆叠的全局注意力模块的CNN模块，使得该全局特征提取模块既具有卷积的性质，又能进行全局的建模。该道路积水检测方法使用上述语义分割方法快速获取待处理图像的语义分割结果，识别是否存在道路积水，以实现城市道路管理中对于道路积水的高效治理。

技术领域

本申请涉及计算机视觉领域，特别是涉及一种语义分割方法及应用其的道路积水检测方法和装置。

背景技术

在计算机视觉领域中，语义分割技术是完全按照人类感知的方式从像素级别来识别图像，与其他的图像识别技术相比，它是一个将图像中的每个像素链接到对应的类别标签的过程，因此可以将语义分割视为像素级别的图像分类。

Transformer模型抛弃了以往深度学习任务里面使用到的卷积神经网络和循环神经网络，是一个利用注意力机制来提高模型训练速度的模型，将Transformer模型应用于计算机视觉领域中，也就是Vision Transformer（Vision Transformer），利用多头部自注意力机制建立特征的长距离依赖关系。但Transformer在计算机视觉中的应用仍然受到限制。

由于卷积神经网络的空间归纳偏差允许在不同的视觉任务中以较少的参数学习视觉表征，而Vision Transformer忽略了卷积神经网络固有的空间归纳偏差，因此，在使用Vision Transformer识别图像时，导致需要更多的参数学习视觉表征以及更长的训练时间来训练模型。

并且，卷积神经网络在空间上是局部建模的，卷积神经网络通过计算局部相邻的像素点之间的联系能够提取局部特征，比如边缘和角，能在浅层提供丰富局部特征(localfeature)，然而在深层CNN很难建立长距离依赖关系。

发明内容

本申请实施例提供了一种语义分割方法及应用其的道路积水检测方法和装置。

第一方面，本申请实施例提供了一种语义分割方法，包括：

将待处理图像输入语义分割模型，所述语义分割模型包括主干网络、多尺度特征提取网络和语义分割预测头部，所述多尺度特征提取网络包括并联的多个全局特征提取网络，其中，每一所述全局特征提取网络至少包括串联的一个或多个全局特征提取模块，所述全局特征提取模块为嵌入了多个堆叠的全局注意力模块的CNN模块；

使用所述主干网络提取所述待处理图像的第一特征图，其中所述第一特征图为具有局部注意力的特征图；

将第一特征图输入每一所述全局特征提取网络获取不同尺度的多个第二特征图，其中所述第二特征图为同时具有局部注意力和全局注意力的特征图；

将每一所述第二特征图输入所述语义分割预测头部获取多个预测目标分支结果，通过非极大值抑制输出所有所述预测目标分支结果中损失最小的预测框作为所述待处理图像的语义分割结果。

在一些申请实施例中，使用所述全局特征提取模块将输入的特征图增大感受野并卷积升维，再展开为包括多个不重叠图像块的图像向量序列，将所述图像向量序列输入多个堆叠的全局注意力模块获取具有全局注意力的特征向量，将所述特征向量进行重塑和卷积降维后与输入所述全局特征提取模块的特征图进行堆叠和并联空洞卷积，得到所述全局特征提取模块输出的特征图。

在一些申请实施例中，所述多尺度特征提取网络包括用于提取大尺度的第二特征图的第一全局特征提取网络、用于提取中尺度的第二特征图的第二全局特征提取网络、用于提取小尺度的第二特征图的第三全局特征提取网络。