[发明专利]一种基于双向多尺度金字塔的语义分割方法

摘要

本发明涉及一种基于双向多尺度金字塔的语义分割方法，包含：收集训练图像；设计基于双向多尺度金字塔的深度卷积神经网络结构以适用于语义分割；设计该网络的主干子网络，用以提取图像的基础特征；设计自下而上的多尺度金字塔模块；设计自上而下的多尺度金字塔模块；将自下而上的多尺度金字塔提取的特征与自上而下的多尺度金字塔提取的特征进行融合；基于融合的特征，卷积得到最终的分割结果。输入数据进行训练；将训练好的模型应用于实际任务中，通过训练好的模型，前向计算预测并输出分割的结果，并辅助实际场景中的决策。

主权项

1.一种基于双向多尺度金字塔的语义分割方法，包含下列步骤：(1)收集训练图像；确定方法应用场景，收集该场景下的相关图像；对收集的图像进行标注，标注每个像素点的类别，并以其作为训练图像的标签；将训练图像划分为训练集和验证集；训练集用于训练不同的模型，验证集用于选择最佳的训练模型；(2)设计基于双向多尺度金字塔的深度卷积神经网络结构以适用于语义分割；1)设计该网络的主干子网络，用以提取图像的基础特征，主干子网络包括卷积层、池化层、归一化层、非线性激活层深度卷积神经网络模块，采用5个卷积块，为保持分割的分辨率，在卷积块4和卷积块5之前未采用池化层，为了避免减少池化层造成的感受野下降问题，在卷积块4和卷积块5中，采用空洞卷积代替传统的池化卷积，能够有效提升感受野；2)设计自下而上的多尺度金字塔模块，由于卷积块3、4、5三个卷积块的特征图有相同的分辨率，为提取多尺度的特征，进而实现自下而上的多尺度金字塔模块，将卷积块3输出的特征图进行下采样2倍，并经过空洞金字塔模块提升语义层级，进而与卷积块4输出的特征图进行融合，进一步，将融合后的特征经过另一个空洞金字塔模块提升特征语义层级；再将融合的特征上采样2倍，与卷积块5提取的特征上采样2倍后的特征进行融合，再经过另一个空洞金字塔模块得到最后的融合特征；3)设计自上而下的多尺度金字塔模块，为充分利用不同特征层级的特征信息，将卷积块5输出的特征图进行下采样2倍，并经过空洞金字塔模块的特征提取，进而与卷积块4输出的特征图进行融合；进一步，将融合后的特征经过另一个空洞金字塔模块提升特征语义层级；再将融合的特征上采样2倍，与卷积块3提取的特征上采样2倍后的特征进行融合，再经过另一个空洞金字塔模块得到最后的融合特征；4)将自下而上的多尺度金字塔提取的特征与自上而下的多尺度金字塔提取的特征进行融合；基于融合的特征，卷积得到最终的分割结果。(3)输入数据进行训练；通过前向计算预测分割结果，并与对应标签求取损失代价，通过反向传播算法计算参数的梯度并更新参数；迭代训练直至代价函数收敛；(4)将训练好的模型应用于实际任务中，通过训练好的模型，前向计算预测并输出分割的结果，并辅助实际场景中的决策。