[发明专利]一种基于RGBD图像与全残差网络的语义分割方法

摘要

本发明公开了一种基于RGBD图像与全残差网络的语义分割方法，包括步骤：获取场景的RGB图像及深度图像，并传递到工作站中；在工作站对获取信息进行如下运算：在第一阶段中，把深度信息以及RGB颜色信息分别输入卷积神经网络的两个卷积分支中，进行下采样的卷积操作，并分多次把深度分支信息融合进颜色分支中；在第二阶段中，把第一阶段最后一次融合结果作为输入，进行上采样的卷积运算，同时获取第一阶段中各阶段特征层信息，将其融入上采样的各阶段中，直至输出语义分割结果。本发明中，除模型初始卷积与最后的反卷积外，其余卷积结构皆使用残差模块进行卷积运算；模型对于第一阶段与第二阶段的相同空间尺寸的特征层实行跳跃结构进行信息融合。本发明具有语义分析及边缘分割精确的优点。

主权项

1.一种基于RGBD图像与全残差网络的语义分割方法，其特征在于，包括步骤：1)获取场景的RGB图像及相应的深度图像；2)将步骤1)中获得的深度图像与RGB图像信息传递至拥有图形运算单元GPU的工作站中；3)工作站把深度信息以及RGB信息分别输入两个基于卷积神经网络的深度学习分支中，分别称为深度分支及主分支，两分支具有相同的下采样结构；随着框架中卷积运算的递进，深度分支独立运算，而主分支在卷积运算的同时，在不同的卷积层中分多次融合深度分支的特征信息；两个分支中的特征层皆由残差模块组成，进行下采样卷积运算时，除初始卷积与最后的反卷积外，其余卷积结构皆使用残差模块进行卷积运算；4)将步骤3)中最后一次融合结果作为步骤3)的输出，获取该输出，在该输出上进行上采样的卷积运算，同时获取步骤3)中各阶段特征层信息，将其融入上采样的各阶段中，直至输出语义分割结果；进行上采样卷积运算时，除了最后一个反卷积层，其余层皆使用残差模块进行卷积运算。