[发明专利]基于颜色和深度信息融合的物体六自由度位姿估计方法

说明书

本发明涉及一种基于颜色和深度信息融合的物体六自由度位姿估计方法，包括以下步骤：获取目标物体的彩色图像和深度图像，对彩色图像进行实例分割；从彩色图像中裁剪出包含目标物体的彩色图像块，同时从深度图像中得到目标物体点云；从彩色图像块中提取彩色特征，在像素层面结合到目标物体点云上；对目标物体点云进行点云处理，得到若干个融合彩色信息和深度信息的点云局部区域特征和一个全局特征，并将全局特征结合到点云局部区域特征中；每个局部特征预测一个目标物体的位姿和置信度，以置信度最高对应的位姿作为最终估计结果。与现有技术相比，本发明结合彩色信息和深度信息，并且通过结合局部特征和全局特征的方式预测物体位姿，具有鲁棒性强、准确度高等优点。

技术领域

本发明涉及机器人视觉领域，尤其是涉及一种基于颜色和深度信息融合的物体六自由度位姿估计方法。

背景技术

基于计算机视觉的物体六自由度位姿(物体相对于相机坐标系的三维平移和旋转变换参数共计六个自由度)估计技术使机器人能够从三维层面感知周围的环境，是实现机器人抓取和灵巧操作的关键技术，对于推动服务机器人、工业机器人的应用有着重要意义。此外，该技术在自动驾驶、增强现实、虚拟现实技术等领域，也有广阔的应用前景。

现有物体位姿估计技术主要有以下几种：

一是基于模板匹配的方法：该方法将在线采集的图像和离线制作好的模板进行特征匹配，根据匹配的模板确定物体的位姿；现有的此类方法存在以下问题：该方法在背景杂乱、物体混杂堆叠的情况下很难准确地把目标物体匹配到，鲁棒性不高；模板匹配的时间会随着模板数量的增加而急剧上升，很难满足实时性的要求。

二是基于关键点对应的方法：该方法首先在彩色图像中预测二维特征点，然后利用二维特征点和模型上的点的对应关系，利用PnP算法求解物体的六自由度位姿；现有的此类方法主要存在以下问题：传统的关键点检测方法难以检测出无纹理或者弱纹理物体上的二维特征点；基于深度学习的方法对于关键点的检测也易受到物体相互遮挡的影响，导致在此种情况下鲁棒性不高。

三是直接回归的方法：该方法将彩色图像作为深度网络的输入，直接回归物体的六自由度位姿；现有的此类方法主要存在以下问题：当被估测位姿的物体所处的背景杂乱且有互相堆叠时，用于估计位姿的信息除了物体本身外，不可避免的会包含背景和其他堆叠物体的信息，这对特征提取带来了极大的影响，进而降低了物体位姿估计的精度，因此该类方法最后对初步预估结果进行位姿精修以修正预测的位姿，但位姿精修过程耗时较长，降低了算法的效率。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷而提供一种基于颜色和深度信息融合的物体六自由度位姿估计方法，消除了杂乱背景和物体相互遮挡对于物体位姿估计的不利影响。

本发明的目的可以通过以下技术方案来实现：

一种基于颜色和深度信息融合的物体六自由度位姿估计方法，包括以下步骤：

S1、获取目标物体的彩色图像和深度图像，对所述彩色图像进行实例分割，得到实例分割结果；

S2、根据所述实例分割结果从彩色图像中裁剪出包含目标物体的彩色图像块，同时从深度图像中得到目标物体点云；

S3、从所述彩色图像块中提取彩色特征，并根据像素间的对应关系，将提取到的彩色特征在像素层面结合到所述目标物体点云上；

S4、对结合颜色特征的所述目标物体点云进行点云处理，得到若干个融合了彩色信息和深度信息的点云局部区域特征和一个全局特征，并将全局特征结合到各点云局部区域特征中；

S5、基于步骤S4获得的点云局部区域特征预测目标物体的位姿和置信度，以置信度最高对应的位姿作为最终估计结果。

进一步地，步骤S1中，通过Mask RCNN实例分割网络对彩色图像进行实例分割。