[发明专利]基于多尺度带孔卷积神经网络的道路场景语义分割方法

权利要求书

1.一种基于多尺度带孔卷积神经网络的道路场景语义分割方法，其特征在于包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤为：

步骤1_1：选取Q幅原始的道路场景图像及每幅原始的道路场景图像对应的真实语义分割图像，并构成训练集，将训练集中的第q幅原始的道路场景图像记为{I^q(i,j)}，将训练集中与{I^q(i,j)}对应的真实语义分割图像记为然后采用独热编码技术将训练集中的每幅原始的道路场景图像对应的真实语义分割图像处理成12幅独热编码图像，将处理成的12幅独热编码图像构成的集合记为其中，道路场景图像为RGB彩色图像，Q为正整数，Q≥200，q为正整数，1≤q≤Q，1≤i≤W，1≤j≤H，W表示{I^q(i,j)}的宽度，H表示{I^q(i,j)}的高度，I^q(i,j)表示{I^q(i,j)}中坐标位置为(i,j)的像素点的像素值，表示中坐标位置为(i,j)的像素点的像素值；

步骤1_2：构建多尺度带孔卷积神经网络：多尺度带孔卷积神经网络包括输入层、隐层和输出层；隐层包括依次设置的第1个神经网络块、第2个神经网络块、第3个神经网络块、第4个神经网络块、第5个神经网络块、第1个级联层、第6个神经网络块、第1个上采样块、第2个级联层、第7个神经网络块、第2个上采样块、第3个级联层、第8个神经网络块、第3个上采样块、第4个级联层、第9个神经网络块、第4个上采样块、第5个上采样块、第6个上采样块、第5个级联层；

对于输入层，输入层的输入端接收一幅原始输入图像的R通道分量、G通道分量和B通道分量，输入层的输出端输出原始输入图像的R通道分量、G通道分量和B通道分量给隐层；其中，要求输入层的输入端接收的原始输入图像的宽度为W、高度为H；

对于第1个神经网络块，其由依次设置的卷积层、批规范化层、激活层组成；第1个神经网络块的输入端接收输入层的输出端输出的原始输入图像的R通道分量、G通道分量和B通道分量，第1个神经网络块的输出端输出64幅特征图，将64幅特征图构成的集合记为P₁；其中，卷积层的卷积核大小为3×3、卷积核个数为64，卷积层的补零参数为“same”，批规范化层采用默认参数，激活层的激活方式为“Relu”，P₁中的每幅特征图的宽度为W、高度为H；

对于第2个神经网络块，其由依次设置的最大池化层、卷积层、批规范化层、激活层组成；第2个神经网络块的输入端接收P₁中的所有特征图，第2个神经网络块的输出端输出128幅特征图，将128幅特征图构成的集合记为P₂；其中，最大池化层的池化尺寸为2，卷积层的卷积核大小为3×3、卷积核个数为128，卷积层的补零参数为“same”，批规范化层采用默认参数，激活层的激活方式为“Relu”，P₂中的每幅特征图的宽度为高度为

对于第3个神经网络块，其由依次设置的最大池化层、卷积层、批规范化层、激活层组成；第3个神经网络块的输入端接收P₂中的所有特征图，第3个神经网络块的输出端输出256幅特征图，将256幅特征图构成的集合记为P₃；其中，最大池化层的池化尺寸为2，卷积层的卷积核大小为3×3、卷积核个数为256，卷积层的补零参数为“same”，批规范化层采用默认参数，激活层的激活方式为“Relu”，P₃中的每幅特征图的宽度为高度为

对于第4个神经网络块，其由依次设置的最大池化层、丢弃层、卷积层、批规范化层、激活层组成；第4个神经网络块的输入端接收P₃中的所有特征图，第4个神经网络块的输出端输出512幅特征图，将512幅特征图构成的集合记为P₄；其中，最大池化层的池化尺寸为2，丢弃层的丢弃率为0.5，卷积层的卷积核大小为3×3、卷积核个数为512，卷积层的补零参数为“same”，卷积层的带孔指数为3×3，批规范化层采用默认参数，激活层的激活方式为“Relu”，P₄中的每幅特征图的宽度为高度为

对于第5个神经网络块，其由依次设置的最大池化层、丢弃层、上采样层组成；第5个神经网络块的输入端接收P₄中的所有特征图，第5个神经网络块的输出端输出512幅特征图，将512幅特征图构成的集合记为P₅；其中，最大池化层的池化尺寸为2，丢弃层的丢弃率为0.5，上采样层的尺寸为2，P₅中的每幅特征图的宽度为高度为

对于第1个级联层，第1个级联层的输入端接收P₄中的所有特征图和P₅中的所有特征图，第1个级联层通过Concatence方式连接P₄和P₅得到集合U₁，第1个级联层的输出端输出U₁；其中，U₁中包含的特征图的总幅数为1024，U₁中的每幅特征图的宽度为高度为

对于第6个神经网络块，其由依次设置的卷积层、批规范化层、激活层、丢弃层组成；第6个神经网络块的输入端接收U₁中的所有特征图，第6个神经网络块的输出端输出512幅特征图，将512幅特征图构成的集合记为P₆；其中，卷积层的卷积核大小为3×3、卷积核个数为512，卷积层的补零参数为“same”，卷积层的带孔指数为3×3，批规范化层采用默认参数，激活层的激活方式为“Relu”，丢弃层的丢弃率为0.5，P₆中的每幅特征图的宽度为高度为

对于第1个上采样块，其由上采样层组成；第1个上采样块的输入端接收P₆中的所有特征图，第1个上采样块的输出端输出512幅特征图，将512幅特征图构成的集合记为C₁；其中，上采样层的尺寸为2，C₁中的每幅特征图的宽度为高度为

对于第2个级联层，第2个级联层的输入端接收P₃中的所有特征图和C₁中的所有特征图，第2个级联层通过Concatence方式连接P₃和C₁得到集合U₂，第2个级联层的输出端输出U₂；其中，U₂中包含的特征图的总幅数为768，U₂中的每幅特征图的宽度为高度为

对于第7个神经网络块，其由依次设置的卷积层、批规范化层、激活层、丢弃层组成；第7个神经网络块的输入端接收U₂中的所有特征图，第7个神经网络块的输出端输出256幅特征图，将256幅特征图构成的集合记为P₇；其中，卷积层的卷积核大小为3×3、卷积核个数为256，卷积层的补零参数为“same”，卷积层的带孔指数为3×3，批规范化层采用默认参数，激活层的激活方式为“Relu”，丢弃层的丢弃率为0.5，P₇中的每幅特征图的宽度为高度为

对于第2个上采样块，其由上采样层组成；第2个上采样块的输入端接收P₇中的所有特征图，第2个上采样块的输出端输出256幅特征图，将256幅特征图构成的集合记为C₂；其中，上采样层的尺寸为2，C₂中的每幅特征图的宽度为高度为

对于第3个级联层，第3个级联层的输入端接收P₂中的所有特征图和C₂中的所有特征图，第3个级联层通过Concatence方式连接P₂和C₂得到集合U₃，第3个级联层的输出端输出U₃；其中，U₃中包含的特征图的总幅数为384，U₃中的每幅特征图的宽度为高度为

对于第8个神经网络块，其由依次设置的卷积层、批规范化层、激活层、丢弃层组成；第8个神经网络块的输入端接收U₃中的所有特征图，第8个神经网络块的输出端输出128幅特征图，将128幅特征图构成的集合记为P₈；其中，卷积层的卷积核大小为3×3、卷积核个数为128，卷积层的补零参数为“same”，卷积层的带孔指数为3×3，批规范化层采用默认参数，激活层的激活方式为“Relu”，丢弃层的丢弃率为0.5，P₈中的每幅特征图的宽度为高度为

对于第3个上采样块，其由上采样层组成；第3个上采样块的输入端接收P₈中的所有特征图，第3个上采样块的输出端输出128幅特征图，将128幅特征图构成的集合记为C₃；其中，上采样层的尺寸为2，C₃中的每幅特征图的宽度为W、高度为H；

对于第4个级联层，第4个级联层的输入端接收P₁中的所有特征图和C₃中的所有特征图，第4个级联层通过Concatence方式连接P₁和C₃得到集合U₄，第4个级联层的输出端输出U₄；其中，U₄中包含的特征图的总幅数为192，U₄中的每幅特征图的宽度为W、高度为H；

对于第9个神经网络块，其由依次设置的卷积层、批规范化层、激活层、丢弃层组成；第9个神经网络块的输入端接收U₄中的所有特征图，第9个神经网络块的输出端输出64幅特征图，将64幅特征图构成的集合记为P₉；其中，卷积层的卷积核大小为3×3、卷积核个数为64，卷积层的补零参数为“same”，卷积层的带孔指数为3×3，批规范化层采用默认参数，激活层的激活方式为“Relu”，丢弃层的丢弃率为0.5，P₉中的每幅特征图的宽度为W、高度为H；

对于第4个上采样块，其由上采样层组成；第4个上采样块的输入端接收P₆中的所有特征图，第4个上采样块的输出端输出512幅特征图，将512幅特征图构成的集合记为C₄；其中，上采样层的尺寸为8，C₄中的每幅特征图的宽度为W、高度为H；

对于第5个上采样块，其由上采样层组成；第5个上采样块的输入端接收P₇中的所有特征图，第5个上采样块的输出端输出256幅特征图，将256幅特征图构成的集合记为C₅；其中，上采样层的尺寸为4，C₅中的每幅特征图的宽度为W、高度为H；

对于第6个上采样块，其由上采样层组成；第6个上采样块的输入端接收P₈中的所有特征图，第6个上采样块的输出端输出128幅特征图，将128幅特征图构成的集合记为C₆；其中，上采样层的尺寸为2，C₆中的每幅特征图的宽度为W、高度为H；

对于第5个级联层，第5个级联层的输入端接收P₉中的所有特征图、C₄中的所有特征图、C₅中的所有特征图和C₆中的所有特征图，第5个级联层通过Concatence方式连接P₉、C₄、C₅和C₆得到集合U₅，第5个级联层的输出端输出U₅；其中，U₅中包含的特征图的总幅数为960，U₅中的每幅特征图的宽度为W、高度为H；

对于输出层，其包括卷积层，其中，卷积层的卷积核大小为1×1、卷积核个数为12，卷积层的补零参数为“valid”，卷积层的激活方式为“softmax”；输出层的输入端接收U₅中的所有特征图，输出层的输出端输出12幅与原始输入图像对应的语义分割预测图；

步骤1_3：将训练集中的每幅原始的道路场景图像作为原始输入图像，输入到多尺度带孔卷积神经网络中进行训练，得到训练集中的每幅原始的道路场景图像对应的12幅语义分割预测图，将{I^q(i,j)}对应的12幅语义分割预测图构成的集合记为

步骤1_4：计算训练集中的每幅原始的道路场景图像对应的12幅语义分割预测图构成的集合与对应的真实语义分割图像处理成的12幅独热编码图像构成的集合之间的损失函数值，将与之间的损失函数值记为

步骤1_5：重复执行步骤1_3和步骤1_4共V次，得到多尺度带孔卷积神经网络分类训练模型，并共得到Q×V个损失函数值；然后从Q×V个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为多尺度带孔卷积神经网络分类训练模型的最优权值矢量和最优偏置项，对应记为W^best和b^best；其中，V＞1；

所述的测试阶段过程的具体步骤为：

步骤2_1：令表示待语义分割的道路场景图像；其中，1≤i'≤W'，1≤j'≤H'，W'表示的宽度，H'表示的高度，表示中坐标位置为(i',j') 的像素点的像素值；

步骤2_2：将的R通道分量、G通道分量和B通道分量输入到多尺度带孔卷积神经网络分类训练模型中，并利用W^best和b^best进行预测，得到对应的预测语义分割图像，记为其中，表示中坐标位置为(i',j')的像素点的像素值。

2.根据权利要求1所述的基于多尺度带孔卷积神经网络的道路场景语义分割方法，其特征在于所述的步骤1_4中，采用分类交叉熵获得。