[发明专利]基于骨骼时空特征及长短时记忆网络的人体动作识别方法

摘要

本发明提供一种基于骨骼时空特征及长短时记忆网络的人体动作识别方法。首先基于单帧内骨骼点的相对空间位置构建骨骼点的空间特征。其次基于传统光流法提出一种基于三维骨骼信息的光流特征计算方法。并将骨骼信息的光流特征作为骨骼点的时间特征。再次设计一种双流长短时记忆网络的人体动作识别模型，双流模型的两个通道分别输入骨骼信息的空间特征序列和时间特征序列。从而综合分析人体动作的时空特征，提高人体动作识别的准确率。最后构建带有时空特征的测试数据集和训练数据集，训练双流时空长短时记忆网络模型，并验证人体动作识别的准确率。

主权项

1.基于骨骼时空特征及长短时记忆网络的人体动作识别方法，其特征在于，该方法具体包括以下步骤：(1)基于单帧内骨骼点的相对空间位置构建骨骼点的空间特征；首先基于深度相机获取人体骨骼点的三维空间坐标，将髋部中心点作为坐标原点，构建人体骨骼的空间坐标系，计算出人体骨骼点相对髋部中心点的球坐标；基于人体身高将人体骨骼的球坐标归一化；基于归一化后的帧内骨骼点相对球坐标构建骨骼点的空间特征；(2)将视频中的骨骼点空间特征序列作为人体动作的空间特征；(3)基于骨骼信息光流法计算骨骼信息的光流特征，作为人体动作的时间特征；通过骨骼信息光流法将传统光流法二维的像素点位移扩展成三维的骨骼点位移，即用z＝[u v w]^T表示某一骨骼点在三维空间中的瞬时位移，其中u是在x方向上的位移，v是在y方向上的位移，w表示该骨骼点在深度方向的瞬时位移；采用计算图像光流信息的Lucass‑Kanade算法，计算三维骨骼点的光流特征；将骨骼的光流特征作为人体动作的时间特征；(4)基于双流长短时记忆网络的人体动作识别模型，融合决策得出最后的分类结果；将两个长短时记忆网络的人体动作识别模型并行，得到双流长短时记忆网络的人体动作识别模型；双流长短时记忆网络的人体动作识别模型的两个通道分别输入骨骼信息的空间特征序列和时间特征序列，分别分析人体动作骨骼数据的时间特征和空间空间，最终两个通道在softmax层融合，取两个通道分类概率的平均值，融合决策得出最后的分类结果。