[发明专利]一种基于openpose的人体姿态识别方法

说明书

本发明公开了一种基于openpose的人体姿态识别方法，由openpose数据获取、数据预处理、特征值构造、深度网络训练及动作判定、opencv绘图组成人体姿态识别系统，识别方法包括如下步骤：步骤一：利用开源项目openpose获取人在执行目标动作下的人体骨架数据帧序列；步骤二：从骨架数据中筛选出可以表征动作的主要关键点数据；步骤三：从筛选出的骨架关节点数据中提取、计算动作特征值并构造动作的特征向量序列；步骤四：对特征向量序列进行预处理；步骤五：将动作样本集的特征向量序列保存下来作为标准动作模板；步骤六：实时采集动作特征序列给到预先训练好的神经网络；步骤七：从网络获取预测结果，并给出动作标准度。本发明实施简便可靠，适用于实时的动作识别系统。

技术领域

本发明涉及模式识别和人机交互，尤其涉及一种基于openpose的人体姿态识别方法。

背景技术

近些年来，与计算机视觉相关的人机交互应用，如行为监控、电子游戏、医疗保健等越来越受到人们的青睐，而这些交互应用的关键技术在于如何使机器理解人体的动作，也即人体行为识别。现有基于骨架的行为识别方法可以大致分为两类：基于关节点方法和基于身体部位方法。基于关节点方法把人体骨架视为一个点集，然后用点集中关节点的位置相关特征来描述骨架，这类特征包括关节点位置特征，成对的相对关节点位置特征，固定坐标系下的关节点方向特征等。而另一方面，基于身体部位方法将人体骨架视为一系列连接的刚体片段，使用如关节点角度特征，仿生三维特征，不同部位间三维几何关系特征等表示人体三维骨架。这些研究工作结合帧内空间域特征和帧间时间域特征来表示人体骨架序列，但都忽视了不同姿态和关节点的权重变化关系，使得特征表示存在冗余，因为并不是所有的关节点和姿态都拥有相同的重要性，那些重要的关节点和姿态在决定行为所属类别时应该占有更大的比重。如何克服现有技术所存在的不足已成为模式识别和人机交互技术领域中亟待解决的重点难题之一。

发明内容

发明目的：本发明的目的是提供一种基于openpose的动作识别方法，该方法稳定可靠，能抵御环境干扰，适用于实时的动作识别系统。

技术方案：一种基于openpose的人体姿态识别方法，由openpose数据获取、数据预处理、特征值构造、深度网络训练及动作判定、opencv绘图共五个模块组成人体姿态识别系统，该系统的识别方法包括如下步骤：

步骤一：通过openpose数据获取模块，从openpose提供的接口WrapperPython获取人在执行目标动作下的连续骨架数据帧序列：openpose是指卡耐基梅隆大学开发的能够获取人体骨架各个关节点的空间信息和位置信息的开源系统，人体骨架数据是指该项目所提供的人体关节点数据；

步骤二：通过数据预处理模块，从骨架数据中筛选出可以表征动作的主要关键点数据：表征动作的主要关键点数据是指对动作识别起关键作用的关节点数据；若是对手势动作的检测识别，可以选取上肢的关节点数据：包括右手关节点、右手腕关节点、右肩关节点、左手关节点、左手腕关节点、左肩关节点等，其他动作以此类推；

步骤三：通过特征值构造模块，从筛选出的骨架关节点数据中提取、计算动作特征值并构造动作的特征向量序列：动作特征包括关节点位置、角度；特征向量序列是指由特征值组成的特征向量并构成的序列；

步骤四：对特征向量序列进行预处理：的预处理是指对特征向量中关节点的坐标做归一化处理；

步骤五：通过深度网络训练及动作判定模块，将动作样本集的特征向量序列保存下来作为标准动作模板,用于标准度的计算；

步骤六：实时采集动作特征序列给到预先训练好的神经网络：预先训练好的神经网络，是基于keras搭建的七层网络结构，其中三层relu激活层，三层BatchNormalization层，最后一层softmax输出层；