[发明专利]物体区域信息引导下的RGB-D场景3D目标检测方法

说明书

本发明涉及物体区域信息引导下的RGB‑D场景3D目标检测方法。本发明输入场景RGB‑D数据，提取彩色图像中待检测目标对象2D区域并为对象进行粗分类，再将对象区域二维边界框提升到三维斜锥体区域并转化形成点云数据；然后在斜锥体点云上利用物体区域信息进行特征提取，并利用特征变换与最大池聚合操作将点云全局特征和局部特征有效融合；利用融合特征，分割场景前景点与背景点，并通过场景背景点剔除以形成屏蔽性点云；最终在屏蔽性点云中进行物体中心点投票并借助物体区域信息提出建议及3D目标预测。本发明基于物体区域信息引导，融合全局和局部点云特征，能够有效排除背景干扰、高效准确地从复杂场景中检测到3D目标物体。

技术领域

本发明属于图像处理技术领域，涉及一种物体区域信息引导下的RGB-D场景3D目标检测方法。

背景技术

在三维计算机视觉中，3D目标检测对于大量真实场景应用而言至关重要，如自动驾驶、家用机器人等，其目的是检测三维场景中的特定目标物体或感兴趣区域，并确定目标物体位置和类别。目标检测已经成为视觉领域中众多复杂、高层视觉任务的基础，如场景理解、目标跟踪等；然而由于各种目标物体外观、形状和姿态各不相同以及成像过程中由于光照、屏蔽等因素干扰，使得目标检测成为一个具有挑战性的问题。

针对3D目标检测的主流方法包括基于全局特征方法和基于局部特征方法。基于全局特征视点特征直方图(VFH)目标检测方法对场景表面噪声和丢失的深度信息具有鲁棒性，导致其能快速检测出目标物体，但由于其对遮挡环境的适应性差导致检测准确率不高；基于局部特征的目标检测方法则首先提取场景或模板的关键点并计算各关键点的特征描述符，再根据这些描述符进行目标检测或位姿估计，该类方法对复杂场景的背景适应性较差、计算耗时。

发明内容

本发明的目的就是提供一种物体区域信息引导下的RGB-D场景3D目标检测方法。针对RGB-D场景中3D目标检测对复杂背景的适应性较差、目标检测中难以有效利用物体区域信息及场景点云特征信息等缺陷，基于物体区域信息引导，提出一种融合全局和局部点云特征并排除背景干扰的3D目标检测方法，该能够有效排除背景干扰、高效准确地从复杂场景中检测到3D目标物体。

基于输入的场景RGB-D数据，首先提取彩色图像中待检测目标对象2D区域并为对象进行粗分类，再将对象区域二维边界框提升到三维斜锥体区域并转化形成点云数据；然后在斜锥体点云上利用物体区域信息进行特征提取，并利用特征变换与最大池聚合操作将点云全局特征和局部特征有效融合；接着利用融合特征以预测各采样点与前景背景相关程度的概率分数，依据此概率分数分割场景前景点与背景点，并通过场景背景点剔除以形成屏蔽性点云；最终在屏蔽性点云中进行物体中心点投票并借助物体区域信息提出建议及3D目标预测。

本发明具体包括如下步骤：

1)基于场景彩色图二维边界框生成三维斜锥体点云，并将RGB-D数据转换成点云数据。以场景RGB图及其深度信息作为输入，再利用二维目标检测器提取出图像中的二维对象区域并对场景中目标物体进行分类；在三维斜锥体点云生成过程中，利用已知的摄影机投影矩阵将待预测目标对象的二维边界框提升至三维斜锥体区域，从而场景中各目标物体均能获取其对应的斜锥体区域，该斜锥体定义目标对象的三维搜索空间；接着收集场景中每一个斜锥体内的所有采样点以形成整个场景的三维斜锥体点云。将目标对象的斜锥体朝向向场景的中心视图旋转，并使目标对象斜锥体中心轴与场景RGB图像平面正交以规范化各斜锥体。

2)结合斜锥体点云全局特征与局部特征去除背景点云，并用于在场景点云中进行前背景分离。利用斜锥体区域内的全局特征和各采样点局部特征将整个场景点云分割为前景点和背景点并把场景背景点剔除，最终集合所有前景点点云形成屏蔽性点云。

3)在场景斜锥体前景点云中进行3D目标检测，并在规范化坐标中细化建议以获得最终目标检测结果。对每一个目标物体中心进行投票以分别产生投票中心点，然后聚类中心点附近的采样点，同时利用斜锥体区域内得到目标物体信息生成高质量的目标建议，并经三维非最大抑制生成3D目标框，最终完成3D目标检测。