[发明专利]基于深度信息的刚体部件方向检测方法和装置

说明书

技术领域

本发明涉及一种刚体部件方向检测方法和装置，更具体地，涉及一种基于深度信息的刚体部件方向检测方法和装置。

背景技术

刚体部件方向确定是计算机视觉的基本问题，并可广泛用于许多领域，诸如人机互动、手势识别以及用于游戏、电影和体育科学的现实角色动画。由于其理论和商业价值，在计算机视觉和模式识别领域中刚体部件检测吸引了更多的关注，尤其是用于非刚性(non-rigid)对象定位或姿态估计。使用人类手臂检测作为例子，提出了大量方法并可根据不同的图像特征将所述方法大体分为四种类型：基于区域的方法、基于色彩的方法、基于边缘的方法和基于深度信息的方法。

基于区域的方法是在某些约束下通过产生几个分割的区域来恢复手臂。例如，首先使用规格化分割(normalized cuts)分割彩色图像，并假设一般手臂由单个分割的区域构成，并通过分析每个分割的区域来寻找手臂检测。通常，这种方法在忽略图像分割问题的困难的同时，假设每个部分可以从静止图像被完美地分割。然而，由于杂乱的背景、各种衣着以及不同的亮度，通常难以获得好的分割，并且彩色图像分割通常是耗时的。

基于色彩的方法假设手臂的皮肤暴露，通过使用检测的皮肤区域来估计用于前臂的候选，因此当处理杂乱的背景以及没有暴露皮肤的其它衣着时，该方法的性能较差。此外，甚至在暴露手臂皮肤的情况下，当在衣着或背景中存在与皮肤相似的色彩时，也难以准确地检测皮肤区域。

基于边缘的方法可以通过寻找手臂的边界来检测手臂。例如，基于一对平行线段提取躯干。然而，基于边缘的方法对于线段是敏感的，尤其在复杂的背景和衣着或自遮挡姿态中。与彩色图像分割类似，完美的图像边缘提取本身也是一个难题。

与上述方法不同，基于深度信息的方法使用由深度TOF相机(Time-of-Flight Camera)捕捉的深度图像来确定部件。首先将对象从背景分割，随后基于空间信息和深度信息将前景像素集合为子集合，并最终使用所述子集合和拓扑结构确定部件。然而，这种方法主要对没有自遮挡以及非重叠环境的简单姿态有效。

因此，需要一种能够应对适应各种环境、对象和亮度的具有更好鲁棒性的刚体部件方向检测方法。

发明内容

技术方案

本发明仍然聚焦于用于非刚性对象定位或姿态估计的刚体部件方向检测。为了增强鲁棒性和计算效率，提供了使用深度信息的新颖方案。

提供了一种基于深度信息提取图像特征的方法，包括：对由深度相机捕捉的输入图像的预定像素计算突出度特征；通过计算的突出度特征获得输入图像的突出度特征图像；寻找突出度特征图像上的具有显著突出度特征的种子；以及通过种子的生长来产生突出区域。

通过使用如下公式计算突出度特征：其中，N_R表示深度值小于深度阈值的内区域中的像素的比率，N_C表示深度值大于深度阈值的外区域中的像素的比率，深度阈值是内区域中像素的最小深度与特定变化范围的和，内区域是以当前像素为中心的预定大小的区域，外区域是由以当前像素为中心的大于所述内区域的另一预定大小的区域减去内区域所得到的环状区域。

产生突出区域的步骤还可包括丢弃孤立的像素和小的突出区域。

内区域和外区域的大小以及内区域与外区域的比率是可调节的，并且内区域和外区域可具有多种形状。

所述获得输入图像的突出度特征图像的步骤可包括：将输入图像的所述预定像素的突出度特征量化为0～255的灰度值；通过输入图像的所述预定像素的灰度值获得输入图像的突出度特征图像，其中，通过使用如下公式进行所述量化：

Ph′=[255×(Ph-PminPmax-Pmin)]]]>