[发明专利]一种基于数据集分布和上下文信息的语义分割方法

说明书

本发明公开了一种基于数据集分布上下文信息的语义分割方法。该方法首先将图像进行预处理，并使用神经网络得到其深层特征，利用线性层对特征进行解码得到初步的预测结果；之后，根据得到的初步预测结果和全局的特征统计信息，形成新分类器并指导后续的特征提取；与此同时，根据数据集中不同样本的分布情况，累积了不同类别的类中心，并将其作用在现有的注意力机制上。基于以上步骤，搭建了基于数据及分布的语义分割神经网络。相对于现有技术，本发明具有方法简便，计算复杂度低，分类精度高等特点，有效地缓解了语义分割任务中小类别样本预测准确度低的问题，可以在自动驾驶、智能城市及医学分割等多个场景进行应用。

技术领域

本发明涉及机器视觉、深度学习、神经网络等领域，提出了一种基于数据集分布和上下文信息的语义分割方法。

背景技术

语义分割(Semantic Segmentation)：是计算机视觉的基本任务之一，在自动驾驶、智能交通、医疗诊断等多个领域有广泛的应用。其目标是让计算机理解当前图片的语义环境，从而依据分类信息对整个图像区域进行划分。区别于一般的图像分类任务，语义分割要求输出和原始图像大小相匹配的预测结果，是一个像素到像素的图像分类任务。因此，在解析图像时，需要综合的处理不同像素和不同类别之间的依赖关系。

现有语义分割的相关研究普遍认为，网络应该在编码器和连接器上尽可能的捕获图像的长程(Long-Range)信息，其中包括了像素点的空间结构特征和类别间的互相依赖关系。其中一个重要的方法是计算特征之间的协方差矩阵作为权重，之后使用矩阵相乘的方式将权重分配给不同位置的特征，这一方式又被称作“注意力机制”；语义分割任务中，对注意力机制的研究目前集中在三个方向：

1、空间维度的注意力机制。在使用矩阵乘法计算协方差阵时，这种方法会将通道信息消掉，从而形成HW*HW的注意力矩阵，用来描述不同像素点空间结构的相关性。由于语义分割任务的输入图像可能是不同尺寸的，因此这种方式往往带来较大的计算量。一些方法使用多次单一维度的迭代来实现高维矩阵的拟合，另一些则是计算局部的注意力来代替全局注意力。

2、通道维度的注意力机制。在使用矩阵乘法计算协方差阵时，这种方法会将空间信息进行加权和消去，从而形成Channels*Channels的注意力矩阵，用来描述不同类别和通道的依赖关系。这些方法往往会先生成一个粗略的分割结果，之后用他们的概率分布加权特征通道的权重。

3、以上两者融合的可能性。即研究二者信息的耦合能力，在同一个模型中，如何同时高效的捕获空间信息关联性和通道信息依赖性。

然而，上述方法往往只关注于当前输入图片的信息，而忽略了整个数据集的分布一致性；在统计长程信息的过程中，又往往产生较高的计算复杂度，从而导致推理时间过长；同时，过分关注于单张图片的信息容易造成算法的过拟合，导致在验证和测试阶段容易产生不利的影响。

发明内容

本发明的目的是提供一种语义分割方法，其主要流程为：利用骨干网络对图片进行初步的特征提取，使用浅层网络的输出对图像进行初步预测，计算初步预测结果和深层特征之间的协方差矩阵；遍历所有数据，使用滑动平均的方法统计所有图像的协方差阵，得到整个数据集的特征分布；在推理阶段，结合当前图像信息和累积得到的数据集分布信息，在通道维度使用交叉注意力机制算法，对网络深层的特征进行处理，之后利用全卷积分类器对图像进行逐像素的预测。相对于现有技术，本发明具有方法简便，计算复杂度低，分类精度高等特点，有效地缓解了语义分割任务中小类别样本预测准确度低的问题。

实现本发明目的的具体技术方案是：

一种基于数据集分布和上下文信息的语义分割方法，包括以下具体步骤：

步骤A：对数据集图片进行预处理，根据数据集的统计信息完成分类器的设置；

步骤B：搭建神经网络模型，设计损失函数，调整学习率、优化器等参数，在数据集上对网络进行训练；