[发明专利]基于骨骼时空特征及长短时记忆网络的人体动作识别方法

说明书

本发明提供一种基于骨骼时空特征及长短时记忆网络的人体动作识别方法。首先基于单帧内骨骼点的相对空间位置构建骨骼点的空间特征。其次基于传统光流法提出一种基于三维骨骼信息的光流特征计算方法。并将骨骼信息的光流特征作为骨骼点的时间特征。再次设计一种双流长短时记忆网络的人体动作识别模型，双流模型的两个通道分别输入骨骼信息的空间特征序列和时间特征序列。从而综合分析人体动作的时空特征，提高人体动作识别的准确率。最后构建带有时空特征的测试数据集和训练数据集，训练双流时空长短时记忆网络模型，并验证人体动作识别的准确率。

技术领域

本发明属于计算机视觉领域，涉及一种基于骨骼时空特征及双流时空长短时记忆网络的人体动作描述与识别方法。

背景技术

人体动作识别是计算机视觉和人工智能的研究热点之一，在智能监控、人机交互等领域有着广泛的应用。随着深度相机的普及，基于骨骼信息的人体动作描述与识别成为该领域重要的研究方向。

基于三维骨骼点特征的人体动作描述方法可以主要概括为：基于骨骼点位置的特征表示；基于活动骨骼点的特征表示；基于时序动态的特征表示。其中，基于骨骼点位置的特征表示方法通常从骨架节点中提取含有各节点关联信息的特征，或者直接用节点位置信息作为特征；而基于活动骨骼点的特征表示方法通过挖掘具体动作所涉及的身体部位或者寻找动作的肢体特点用于辨识行为；基于时序动态的特征表示方法通常视骨架序列为三维的轨迹，并对这类时间序列进行建模分析。此外，根据对应骨架节点序列中不同特性，基于骨骼点位置的特征表示方法又可以分为空间描述、几何结构描述、基于关键姿态描述的三种方法。

光流的概念是Gibuson在1950年首先提出的。所谓光流就是指图像表观运动的速度。物体在运动的时候之所以能被人眼发现，就是因为当物体运动时，会在人的视网膜上形成一系列的连续变化的图像，这些变化信息在不同时间，不断的流过眼睛视网膜，就好像一种光流过一样，故称之为光流。光流场是一种二维(2D)的瞬时速度场，在景物可见点中，三维(3D)速度矢量在成像表面上形成的投影就是2D速度场矢量。光流包含了观测物体的运动变化信息，同时还含有景物三维结构的信息。光流的计算方法大多数是建立在Horn-Schunck算法和Lucas-Kanade算法基础之上。按照Barron在1994年提出的分类方法，光流计算可以分为微分方法、区域匹配方、基于能量的方法和基于相位的方法等4类。在许多问题的研究中，光流都起着重要作用，在计算机视觉的较高层视觉算法中，光流是一个比较重要的输入，可以实现诸如目标分割、识别、跟踪、机器人导航以及形状信息恢复等重要的任务。

人体的运动过程可视为一组人体骨骼点空间位置的时间序列，因此提出的时间特征需要描述人体所有骨骼点的动态信息。人体动作的动态信息可以由帧间骨骼点的光流特征反映。因此，本发明基于Kinect2.0深度相机获取到的骨骼点数据提出一种骨骼信息光流特征的提取方法。基于Lucass-Kanade光流计算方法针对三维空间的骨骼信息提出骨骼光流特征计算方法。计算得到帧间骨骼信息的光流特征作为人体动作的时间特征，并与人体动作的空间特征联合表征人体动作。

LSTM(Long Short-Term Memory)长短时记忆网络，是一种时间循环神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。LSTM已经在科技领域有了多种应用。基于LSTM的系统可以完成翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等任务。人体动作可描述为一组骨骼信息序列，如何设计一种可以处理人体骨骼时空信息的模型成为当前的研究重点。

发明内容

为了应对上述的技术问题，本发明提出基于骨骼点时空特征的动作描述方法与基于双流时空LSTM的动作识别方法。

为了实现以上目的，本发明方法主要包括以下步骤：

(1)基于单帧内骨骼点的相对空间位置构建骨骼点的空间特征。