[发明专利]基于时空骨骼特征及深度信念网络的人体行为识别方法

权利要求书

1.基于时空骨骼特征及深度信念网络的人体行为识别方法，其特征在于，所述方法包括以下步骤：

针对每一个动作，使用深度摄像机，获取骨骼序列；

从所述骨骼序列中提取获得骨骼点时间序列特征，所述骨骼点时间序列特征包括动作过程中每个骨骼点的位移特征、骨骼点的速度特征和骨骼点的加速度特征；

选取骨骼参考点，计算所述骨骼点到所述骨骼参考点的相对位置，得到动作骨骼序列的空间特征；

对所述骨骼点时间序列特征和所述动作骨骼序列的空间特征进行聚类，固定特征长度，建立全局动作描述算子；

对所述全局动作描述算子降维，基于交叉验证和分类器完成动作的分类。

2.根据权利要求1所述基于时空骨骼特征及深度信念网络的人体行为识别方法，其特征在于，获取骨骼序列的方法具体为：针对每一个动作，使用深度摄像机，以摄像机坐标为原点，获取骨骼点的三维空间位置信息，形成一个表示该动作的骨骼序列。

3.根据权利要求1所述基于时空骨骼特征及深度信念网络的人体行为识别方法，其特征在于，所述骨骼点包括头部骨骼点Head、肩部中央骨骼点Shoulder Center、髋部中央骨骼点Hip Center、左肩骨骼点Left Shoulder、左肘骨骼点Left Elbow、左手骨骼点LeftHand、右肩骨骼点Right Shoulder、右肘骨骼点Right Elbow、右手骨骼点Right Hand、左髋骨骼点Left Hip、左膝骨骼点Left Knee、左脚骨骼点Left Foot、右髋骨骼点Right Hip、右膝部骨骼点Right Knee、右脚骨骼点RightFoot。

4.根据权利要求1所述基于时空骨骼特征及深度信念网络的人体行为识别方法，其特征在于，从所述骨骼序列中提取获得所述骨骼点时间序列特征，具体为：

动作过程中每个骨骼点的位移特征的计算公式为：

其中，1＜f≤C，1≤i≤15；表示第f帧中第i个骨骼点的位移；表示第f帧中第i个骨骼点的三维位置信息；表示第1帧中第i个骨骼点的三维位置信息；C表示某一动作的总帧数；f表示当前帧数；i表示骨骼点；

动作过程中每个骨骼点的速度特征的计算公式为：

其中，1＜f≤C，1≤i≤15；表示第f帧中第i个骨骼点的速度，表示第f+1帧中第i个骨骼点的三维位置信息；表示第f-1帧中第i个骨骼点的三维位置信息；Δt表示第f+1帧与第f-1帧之间的帧数差；

动作过程中每个骨骼点的加速度特征的计算公式为：

其中，1＜f≤C，1≤i≤15；表示第f帧中第i个骨骼点的加速度，Δt²表示第f+1帧与第f-1帧之间帧数差的平方；

将所得到每个骨骼点的位移特征、速度特征和加速度特征串联起来得到T_n：

其中，1≤l≤L，n＝1、2、3；

其中，L表示所有动作的骨骼序列总数；l表示当前动作对应的骨骼序列；C表示当前动作骨骼序列l的总帧数；表示当前动作骨骼序列l中所有骨骼点的位移特征，通过采用计算获得；表示当前动作骨骼序列l中所有骨骼点的速度特征，通过采用计算获得；表示当前动作骨骼序列l中所有骨骼点的加速度特征，通过采用计算获得；

T₁为所有动作对应的骨骼序列中所有骨骼点的位移特征，T₂为所有动作对应的骨骼序列中所有骨骼点的速度特征，T₃为所有动作对应的骨骼序列中所有骨骼点的加速度特征。