[发明专利]基于深度相机和基本姿势的人体行为识别方法及装置

权利要求书

1.一种基于深度相机和基本姿势的人体行为识别方法，其特征在于，包括以下步骤：

通过深度相机检测人体行为的图像，并提取关键点信息；

根据输入的所述图像进行人体三维结构的重建，以保证视角不变性；

将重建后的人体三维数据进行关键部位的姿势的识别和相应的特征提取，以得到重心位置、四肢描述、躯干角度、以及头部姿态的姿势特征描述集的时间序列；

根据所述特征描述的时间序列与预先训练的各部位姿势特征描述词袋进行匹配，以得到基本姿势的初始时间描述序列，所述基本姿势的初始时间描述序列包括运动对象的种类，基本姿势的数目，各种对象的类内变化；

去除所述初始时间描述序列的重复信息，以得到最终时间描述序列；以及

将所述最终时间描述序列输入到预先训练好的长短时记忆网络以进行人体的行为识别，以得到识别结果。

2.根据权利要求1所述的基于深度相机和基本姿势的人体行为识别方法，其特征在于，在通过深度相机检测人体行为的图像之前，还包括：

从数据库中采集训练集和测试集；

将所述训练集的视频数据进行逐帧分解，并且每一帧对人体进行3D位置矫正，使得视角保持不变，获取一个满足预设条件的人体3D模型；

对所述人体3D模型进行分割，以将人体的不同部位分割成多个部分，并进行基本姿势的聚类操作和相应的特征提取，并去除动作的冗余信息；

通过长短时记忆网络结构对采集到的行为识别数据进行识别，以得到所述训练好的长短时记忆网络。

3.根据权利要求1或2所述的基于深度相机和基本姿势的人体行为识别方法，其特征在于，所述每一帧对人体进行3D位置矫正，进一步包括：

以髋关节三个点形成的平面为中心进行计算，根据身体其他的关节点相对于所述髋关节的距离和角度重新校正为躯体正对所述深度相机的摄像头的角度。

4.根据权利要求2所述的基于深度相机和基本姿势的人体行为识别方法，其特征在于，所述多个部分包括头部、双臂、双腿、上半身与下半身所呈的角度以及重心。

5.根据权利要求1所述的基于深度相机和基本姿势的人体行为识别方法，其特征在于，所述将所述最终时间描述序列输入到预先训练好的长短时记忆网络以进行人体的行为识别，进一步包括：

通过所述长短时记忆网络运用不同帧之间的相关顺序信息区分同一种基本姿势的不同动作。

6.一种基于深度相机和基本姿势的人体行为识别装置，其特征在于，包括：

检测模块，用于通过深度相机检测人体行为的图像，并提取关键点信息；

重建模块，用于根据输入的所述图像进行人体三维结构的重建，以保证视角不变性；

提取模块，用于将重建后的人体三维数据进行关键部位的姿势的识别和相应的特征提取，以得到重心位置、四肢描述、躯干角度、以及头部姿态的姿势特征描述集的时间序列；

匹配模块，用于根据所述特征描述的时间序列与预先训练的各部位姿势特征描述词袋进行匹配，以得到基本姿势的初始时间描述序列，所述基本姿势的初始时间描述序列包括运动对象的种类，基本姿势的数目，各种对象的类内变化；

去除模块，用于去除所述初始时间描述序列的重复信息，以得到最终时间描述序列；以及

识别模块，用于将所述最终时间描述序列输入到预先训练好的长短时记忆网络以进行人体的行为识别，以得到识别结果。

7.根据权利要求6所述的基于深度相机和基本姿势的人体行为识别装置，其特征在于，还包括：

采集模块，用于从数据库中采集训练集和测试集；

分解模块，用于将所述训练集的视频数据进行逐帧分解，并且每一帧对人体进行3D位置矫正，使得视角保持不变，获取一个满足预设条件的人体3D模型；

分割模块，用于对所述人体3D模型进行分割，以将人体的不同部位分割成多个部分，并进行基本姿势的聚类操作和相应的特征提取，并去除动作的冗余信息；

训练模块，用于通过长短时记忆网络结构对采集到的行为识别数据进行识别，以得到所述训练好的长短时记忆网络。