[发明专利]融合骨骼识别和IFace-TLD的移动机器人目标跟踪系统

权利要求书

1.一种融合骨骼识别和IFace-TLD的移动机器人目标跟踪系统，其特征在于，包括通过Kinect传感器获取人体的原始彩色图片(A)和上肢的骨骼图片(B)，分别通过用于在彩色图片(A)上对目标进行跟踪定位的IFace-TLD单元(101)，以及用于在骨骼图片(B)上对目标进行跟踪定位的骨骼识别单元(102)得到目标所在区域框，并送入图像目标定位单元(103)，图像目标定位单元(103)根据得到的目标所在区域框在原始彩色图片(A)标出目标区域，并将目标区域反馈给IFace-TLD单元(101)；

所述IFace-TLD单元(101)包括有分别获取原始彩色图片(A)的跟踪部分(101.1)、学习部分(101.2)、检测部分(101.3)，以及集成器(101.4)，其中，所述的跟踪部分(101.1)使用光流法跟踪器来估计获取的原始彩色图片(A)中的目标在相邻两帧之间的运动轨迹，并分别送入学习部分(101.2)和集成器(101.4)；所述的检测部分(101.3)对获取的第一帧原始彩色图片(A)中所有的图像块进行独立地扫描和处理，将目标人脸和背景分离出来，并将目标人脸分别送入学习部分(101.2)和集成器(101.4)，对获取的第一帧之后的原始彩色图片(A)只对图像目标定位单元(103)所反馈的目标区域及周边进行扫描和处理，将目标人脸和背景分离出来，并将目标人脸分别送入学习部分(101.2)和集成器(101.4)；集成器(101.4)根据得到的目标在相邻两帧之间的运动轨迹和目标人脸计算原始彩色图片(A)中最可能包含目标位置的置信系数，将计算结果送入学习部分(101.2)，以及骨骼识别单元(102)或者图像目标定位单元(103)；所述的学习部分(101.2)根据原始彩色图片(A)以及从跟踪部分(101.1)、检测部分(101.3)和集成器(101.4)得到的结果进行训练，根据训练结果对跟踪部分(101.1)和检测部分(101.3)出现的错误进行更新和修正；

所述骨骼识别单元(102)包括有运动周期提取部分(102.1)、骨骼特征提取部分(102.2)和支持向量数据描述部分(102.3)，其中，所述的运动周期提取部分(102.1)根据获取的骨骼图片(B)计算人体的运动周期，所述的骨骼特征提取部分(102.2)是在得到的人体的运动周期内计算骨骼特征，当IFace-TLD单元(101)中的集成器(101.4)输出的结果为目标所在区域框时，骨骼特征提取部分(102.2)得到的骨骼特征送入支持向量数据描述部分(102.3)中的训练部分(102.31)进行训练，当IFace-TLD单元(101)中的集成器(101.4)输出的结果为空时，骨骼特征提取部分(102.2)得到的骨骼特征送入支持向量数据描述部分(102.3)中的预测部分(102.32)，所述预测部分(102.32)根据训练部分(102.31)的训练结果预测目标所在区域框，并将预测的目标所在区域框送入图像目标定位单元(103)。

2.根据权利要求1所述的融合骨骼识别和IFace-TLD的移动机器人目标跟踪系统，其特征在于，所述的检测部分(101.3)包括有用于根据获取的原始彩色图片(A)、学习部分(101.2)的目标区域和图像目标定位单元(103)所反馈的目标区域信息检测出人脸在原始彩色图片(A)的区域的人脸检测部分(101.31)，根据从人脸检测部分(101.31)得到的人脸在原始彩色图片(A)的区域识别出目标人脸区域的人脸识别部分(101.32)，以及用于判断人脸识别部分(101.32)识别出的目标人脸区域是否正确的验证器部分(101.33)，所述验证器部分(101.33)的验证结果分别送入学习部分(101.2)和集成器(101.4)。

3.根据权利要求1所述的融合骨骼识别和IFace-TLD的移动机器人目标跟踪系统，其特征在于，所述运动周期提取部分(102.1)根据获取的骨骼图片(B)计算人体的运动周期是采用如下公式：

其中，dist_k为在Kinect坐标系下，第k帧图像左手腕和肩膀中心之间的距离；和表示第k帧图像左手腕和肩膀中心的三维点坐标；N表示序列中总的图像总帧数。

4.根据权利要求1所述的融合骨骼识别和IFace-TLD的移动机器人目标跟踪系统，其特征在于，所述骨骼特征提取部分(102.2)在得到的人体的运动周期内计算骨骼特征，包括：

首先定义步态半周期为T_w，则，基于人体上肢的骨骼特征分别表示为：

轨迹特征：将肩膀中心点选为固定点，通过下式计算其他上肢骨骼点相对于固定点的相对位置，得到一个9维的特征P：

其中，表示第j个人体骨骼在步态半周期T_w中的第t帧图像的位置，被表示为：

其中，表示相机坐标系下肩膀中心点的位置，上肢骨骼中其余坐标点的位置表示为用P的协方差矩阵来表示包含人体行走习惯的轨迹特征矩阵F_T，定义

其中，和分别表示测试数据和训练数据的轨迹特征矩阵；是和之间的广义特征值，满足x是相应的广义右特征向量；

面积和距离特征：面积特征F_A表示人体上肢部分围成封闭区域的面积，距离特征F_D由不同人体中心之间的距离来表示，F_A表示为：

其中，和分别表示肩膀中心点、头部、左肩和右肩在步态半周期T_w中的第t帧的位置；

为了计算距离特征F_D，首先计算上肢区域的三个封闭多边形的中心，三个中心点即头部中心右手中心和左手中心通过以下公式计算得到：

头部中心是肩膀中心点和头部点围成多边形的中心；右手中心是右肩点，右肘点和右手腕点围成多边形的中心；左手中心是左肩点，左肘点和左手腕点围成多边形的中心；右手中心分别与头部中心和左手中心之间的欧几里得距离f_t^d1和f_t^d2写为：

令这样，整个距离特征表示为

其中，和分别表示f^di的均值、方差和最大值，其中,i＝1,2；

静态特征：静态特征由一个5维向量F_S＝[f_h,f_lua,f_rua,f_lf,f_rf]^T来表示，其中f_h表示目标的高度，f_lua，f_rua，f_lf和f_rf分别表示左上臂长度，右上臂长度，左前臂长度和右前臂长度，具体由下各式得到：

其中，分别表示在相机坐标系下，肩部中心点、左肩点、左肘点、左腕点、左手点、右肩点、右肘点、右腕点和右手点的-位置；

频率特征和振幅特征：频率特征F_Fre是步态半周期内骨骼图像帧的数量，相邻的局部最大和局部最小之间的差值为振幅特征F_Amp；

最后，得到一个23维的混合特征构成基于人体上肢的骨骼特征。