[发明专利]一种面向复杂环境的图像语义分割方法及装置

权利要求书

1.一种面向复杂环境的图像语义分割方法，其特征在于，包括以下步骤：

步骤S100、将VGG16卷积神经网络进行修改生成基础网络，通过所述基础网络提取训练图像的初步特征，所述VGG16卷积神经网络中的卷积层分为5个阶段；

步骤S200、使用隐藏层卷积特征模块处理所述基础网络中前4阶段卷积层得到的初步特征，生成高层语义特征；

步骤S300、通过金字塔结构的空洞卷积处理所述基础网络中最末层卷积得到的初步特征，得到细粒度低层特征；

步骤S400、将所述高层语义特征和细粒度低层特征进行融合，生成高分辨率特征图；

步骤S500、设置网络训练参数，以交叉熵损失函数为目标，通过反向传播进行网络训练，从而建立语义分割网络；

步骤S600、将测试图像输入所述语义分割网络，生成测试图像的语义分割结果；

在步骤S100中，所述将VGG16卷积神经网络进行修改生成基础网络具体为：

舍弃原始VGG16卷积神经网络中所有的全连接层和最后一个池化层，构建端到端的全卷积网络；

通过所述全卷积网络进行卷积、池化、批量归一化及ReLU操作，得到基础网络中每一个卷积层的特征图，从而提取图像的初步特征；

所述步骤S200的具体实现方法为：

步骤S210、将所述特征图分别输入到1×1大小的卷积和3×3大小的卷积，获取各个尺度的卷积特征；

步骤S220、将各个尺度的卷积特征进行融合，并进行ReLU操作，得到第一结果；

步骤S230、将所述第一结果输入到1×1大小的卷积中，将输出特征通道数调整到对应的类别数，从而生成高层语义特征。

2.如权利要求1所述的面向复杂环境的图像语义分割方法，其特征在于，所述步骤S300的具体实现方法为：

步骤S310、将所述特征图分别输入两组空洞卷积中，并分别进行批量归一化和ReLU操作，进而分别输入到1×1大小的卷积，将输出特征通道数分别调整到对应的类别数，生成第一特征图和第二特征图；

步骤S320、将所述第一特征图和第二特征图进行卷积、批量归一化、ReLU操作，从而构成金字塔结构；

步骤S330、将所述金字塔结构中的第一特征图和第二特征图进行融合，生成细粒度低层特征。

3.如权利要求1所述的面向复杂环境的图像语义分割方法，其特征在于，在步骤S400中，所述高层语义特征和细粒度低层特征具体通过eltwise层进行加成融合，生成高分辨率特征图。

4.如权利要求1所述的面向复杂环境的图像语义分割方法，其特征在于，在步骤S500中，所述网络训练参数具体设置为：

采用poly学习策略，将初始学习率设置为0.001，将power设置为0.9、将卷积核权重初始值设置为服从均值为0，标准差为0.01的高斯分布，将偏置初始值设置为0，将权重衰减值设置为0.0005，将衰减动量设置为0.9。

5.一种面向复杂环境的图像语义分割装置，其特征在于，所述装置包括：

提取单元，用于将VGG16卷积神经网络进行修改生成基础网络，通过所述基础网络提取训练图像的初步特征，所述VGG16卷积神经网络中的卷积层分为5个阶段；

高层语义特征单元，用于使用隐藏层卷积特征模块处理所述基础网络中前4阶段卷积层得到的初步特征，生成高层语义特征；

细粒度低层特征单元，用于通过金字塔结构的空洞卷积处理所述基础网络中最末层卷积得到的初步特征，得到细粒度低层特征；

高分辨率特征图单元，用于将所述高层语义特征和细粒度低层特征进行融合，生成高分辨率特征图；

语义分割网络单元，用于设置网络训练参数，以交叉熵损失函数为目标，通过反向传播进行网络训练，从而建立语义分割网络；

语义分割结果单元，用于将测试图像输入所述语义分割网络，生成测试图像的语义分割结果；

所述将VGG16卷积神经网络进行修改生成基础网络具体为：

舍弃原始VGG16卷积神经网络中所有的全连接层和最后一个池化层，构建端到端的全卷积网络；

通过所述全卷积网络进行卷积、池化、批量归一化及ReLU操作，得到基础网络中每一个卷积层的特征图，从而提取图像的初步特征；

所述高层语义特征单元具体用于：

将所述特征图分别输入到1×1大小的卷积和3×3大小的卷积，获取各个尺度的卷积特征；

将各个尺度的卷积特征进行融合，并进行ReLU操作，得到第一结果；

将所述第一结果输入到1×1大小的卷积中，将输出特征通道数调整到对应的类别数，从而生成高层语义特征。