[发明专利]一种基于深度图像超像素联合特征的人体姿态估计方法

说明书

本发明公开一种基于深度图像超像素联合特征的人体姿态估计方法，以单幅包含人体的深度图像为输入数据，对深度图像进行人体姿态特征提取，应用特征对人体部位进行分割，对分割后的部位进行聚类操作，并应用于稀疏回归进行人体骨架点的位置估计。采用本发明的技术方案，提高人体姿态估计的准确率，并提升姿态估计方法的实时性。

技术领域

本发明属于计算机视觉和模式识别领域，尤其涉及一种基于深度图像超像素联合特征的人体姿态估计方法。

背景技术

人体部位分割和骨骼关节的定位作为人体姿态估计问题，是计算机视觉和人机交互领域中的一项基础性工作。姿态估计在动作识别、动画模拟、步态分析、基于内容的视频图像检索和智能视频监控等方面有着广泛的应用。随着Kinect传感器、TOF相机等深度图像获取设备的发展，许多研究工作逐渐从传统彩色或灰度的强度图像转到深度图像上。与彩色图像相比，深度图像可以避免不同的光照、外观和背景噪声的影响。

由于人体属于铰链式结构，其具有的高自由度、受约束的参数空间、自相似部位和自遮挡，使得直接对人体骨架进行建模非常困难。人体姿态估计的难点在于构建复杂的人体关节表示模型和通过无标记的数据推算人体关节位置，而实时应用需求又进一步加剧其难度。

从应用数据的方面来看，人体姿态估计方法分为基于单帧图像估计方法和基于图像序列的估计方法。基于单帧的估计方法相较于图像序列的估计方法，其不存在累积误差，不需要错误恢复，可以从单幅图像中直接得到所需要的姿态；但是由于没有运动的时间上下文信息，对于有歧义的姿态容易判别错误。

从应用方法来看，早期的方法以对人体建模为主，通过搜索人体状态空间，以便于与图像特征进行匹配对齐。如常用的迭代最近点方法，使用马尔科夫链对头部、身体和四肢检测器拟合人体模型的方法等。这类拟合匹配的方法通常需要经过初始化的步骤，并且需要设计一个符合真实的人体合成模型，同时在计算上也比较复杂昂贵。基于机器学习的方法逐渐被大家使用，如随机决策森林(RDF)、支持向量机(SVM)、K近邻分类(KNN)、深度学习等方法都在人体姿态估计方面有相应的应用。这类学习的方法不需要先验的人体模型，但依赖于一个足够大、多样性好的训练集并增加了训练时间，同时是否能够提取出有效、准确、稳定的特征描述符也是一个主要的挑战。

在2011年Shotton等人提出的一种实时人体姿态估计方法，并在Kinect应用中获得了成功。其使用深度差特征与随机决策森林相结合，通过人体部位分类并最终使用均值漂移聚类回归得到人体骨架点。但随机决策森林应用的一个问题在于，森林中的树越多，整个森林的结果才会越稳定。而随着树的增多，随机决策森林的训练时间以及测试时间都将会增加，所以反过来在实时应用中就限制了随机决策森林的规模。同时，随着技术的进步，深度图像分辨率越来越大，使得原先需要处理的像素也在成倍增加，对处理方法在实时方面的要求就越来越高。

超像素作为图像处理领域的一种图像分割方法，能够把语义相近的像素分割到一个超像素区域内，然后图像就可以从逐像素处理变为对整个超像素块的统一处理，对于复杂的图像处理程序效率可以有数量级的提升，使得对于实时性有要求的应用中使用更为复杂的特征计算成为可能。简单线性迭代聚类(SLIC)是一种优秀的超像素分割方法，其分割结果比较紧凑而且大小相差不大，邻域关系相对于其他超像素分割方法依然保持的比较好。以SLIC为基础对深度图进行超像素分割的方法比较少，有直接使用三维点云空间欧式距离直接度量像素间距离的，这种方法分割出的超像素块大小相差很大；有添加梯度方向改进语义分割的，但是增加了计算的复杂度；还有一些方法是用彩色+深度的组合分割超像素，但这也增加了额外的输入信息。

发明内容