[发明专利]一种结合深度波尔兹曼机的三维对象检测方法

说明书

技术领域

本发明涉及三维对象，尤其是涉及一种结合深度波尔兹曼机的三维对象检测方法。

背景技术

近年来，随着以Kinect为代表的深度传感器的出现并日益深入到日常生活中，获取到的RGB-D数据呈现爆炸式的增长。同时，对于RGB-D数据的处理和分析逐渐的被应用到了机器人导航，无人驾驶汽车以及游戏娱乐设施当中。然而，对于RGB-D数据包含的场景结构解析是这些应用的核心。典型的方法首先将RGB-D中的体素分割成超体素，然后通过基于统计的语义分割模型进行语义标注，这些模型主要包括产生式模型和判别式模型。

当下基于标注的检测受到了广泛的关注，因此本发明主要致力于RGB-D点云数据中的对象检测。检测器模板通常需要经过已经标注过每一个类别的正负样本的训练才能够获得，然后检测器的准确性依赖于大量的标注过的训练样本，这与图像标注过程截然不同。因此，将语义标注从二维空间转移到三维空间，存在一些困难，如可用的数据库较少，缺乏足够的经验积累，同样的场景结构相比二维图像，在三维点云中需要经过大量处理才能够被标注等。但是，通过结合RGB-D数据提供的有用的空间信息，从中分别获取二维和三维特征用于特征学习以及语义标注。并且，将彩色信息和深度信息结合在以往的研究中还没有被触及。

至今，对RGB-D图像采用双通道的交叉学习模式尚存在初学涂鸦的阶段。已有技术方案主要是仅采用单模式进行特征学习，仅有的一种采用交叉学习模式的方法不仅采用了通过手工加权得到检测器的融合分数，而且该方法还不能够描述各种模态之间的复杂关系。综上所述，这些方法存在的缺点主要包括特征表达不完整、误码率大、操作复杂、不便于实现，甚至严重地受到客观因素的影响。

现有技术中，在对获取的三维数据和对应的二维图像进行对象检测，仅仅采用单通道模式(三维数据或者二维图像)进行特征分析(例如论文『面向rgbd对象检测的无监督特征学习』L.Bo,X.Ren,and D.Fox.Experimental Robotics,387–402页,2013)，忽略了三维数据和二维图像之间的关联性。

发明内容

本发明的目的在于提供采用交叉模式特征，分别结合三维数据特征和二维图像特征，实现三维对象检测分析的一种结合深度波尔兹曼机的三维对象检测方法。

本发明包括以下步骤：

1)采用三维深度传感器沿着重力方向获取一组RGB-D数据；

2)在3D空间采用滑动窗口对输入的RGB-D三维点云进行处理；

3)将3D滑动窗口中的对象进行投影，采用R-CNNs方法得到在RGB通道和深度图通道的特征f_m和f_d，然后再不断地将分别在RGB通道和深度通道中的特征添加到双模态深度波尔兹曼机中进行特征学习，从而获取基于彩色图像特征和深度特征的联合特征表示f；采用Exemplar-SVMs对联合特征f进行分类，得到对应的每个3D窗口盒子的分数；再设计分类器正负样本，具体方法如下：

正样本选择条件：保证样本数据足够多；每个CAD模型必须从不同的视角和3D空间位置进行渲染；对于每个类别，每次CAD模型渲染都要进行Exemplar-SVMs训练，将得到的向量机都用于组装建立一个3D检测器。

负样本选择条件：建立能够完整覆盖真实值得负样本集。

双模态特征学习：通过高斯伯努利限制波尔兹曼机(RBM)，可以得出高斯伯努利限制波尔兹曼机能量函数。

由于深度波尔兹曼机(DBM)是个对称偶联的随机二进制单元，它包含了一组可见单元集v∈{0，1}^D以及一个隐藏层单元的序列