[发明专利]一种基于人体关键点热力图的实时肢体动作识别方法

说明书

本发明公开了一种基于人体关键点热力图的实时肢体动作识别方法，获取原始动作视频，将原始视频输入到openpose神经网络，获取视频帧中人体的热力图，得到多个人体关键点；在每个人体关键点对应通道的热力图上找出预测的最大值索引，并以最大值索引为中心；采用标准差为0.6的二维高斯分布函数，以步骤2中最大值索引为中心，计算该点及其周围8个点与二维高斯分布函数的乘积，并生成一个通道对应的热力图；将步骤3中得到的热力图沿时间维度堆叠，送入3D卷积神经网络中训练；将训练好的网络进行动作预测，得到网络输出类别结果，并进行展示。本发明具有数据处理步骤简单，计算量低的特点，能够在保证精度的基础上提升行为识别的效率。

技术领域

本发明涉及图像、视频处理，动作识别技术领域，具体为一种基于人体关键点热力图的实时肢体动作识别方法。

背景技术

随着监控摄像头的部署量的增多，动作识别是一种新兴的应用需求，该方法不需要依赖监控人员长时间对监控视频的观察，而是用一种智能识别的方式直接输出监控摄像头或者视频中的目标肢体动作标签。普遍的方法是基于RGB图像帧的方法以及基于人体关键点检测的方法。前者存在的问题是对于计算资源消耗过大，且容易混入无关的背景信息，无法将关注点聚焦于目标人物本身；后者存在的问题是生成人体关键点的效率低，在生成包含预测信息的热力图之后还需要经过复杂的后处理才能计算得到较为精确的人体关键点位置。因此我们对此做出改进，提出一种基于人体关键点热力图的实时肢体动作识别方法。

发明内容

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种基于人体关键点热力图的实时肢体动作识别方法，所述的方法包括以下几个步骤，

步骤1、获取原始动作视频，获取视频帧中人体的热力图，得到多个人体关键点；

步骤2、在每个人体关键点对应通道的热力图上找出预测的最大值索引，并以最大值索引为中心，取出其周围的8个值，将其余部分的预测值设置为0；

步骤3、采用标准差为0.6的二维高斯分布函数，以步骤2中最大值索引为中心，计算该点及其周围8个点与二维高斯分布函数的乘积，并生成一个通道对应的热力图，并将热力图的宽和高resize到64,64，并将该操作应用在所有通道和视频帧上，生成网络输入的热力图；

步骤4、将步骤3中得到的热力图沿时间维度堆叠，送入3D卷积神经网络中训练；

步骤5、将训练好的网络进行动作预测，得到网络输出类别结果，并进行展示。

作为本发明的一种优选技术方案，所述的步骤2中在每个人体关键点对应通道的热力图上找出预测的最大值索引的方法是，

记所得到的热力图为H，其shape为C*H*W，其中C为通道数；H，W分别为图片的高和宽；

在对应的shape为H*W的热力图上的每一个通道i上，找到最大值的索引号(Hmax,Wmax)，其计算公式为，

(Hmax_i,Wmax_i)＝index(max(H_i))，i∈(1,C)。

作为本发明的一种优选技术方案，所述的步骤3中以步骤2中最大值索引为中心，计算该点及其周围8个点与二维高斯分布函数的乘积，生成一个通道对应的热力图的方法是，

其中二维高斯分布表达式为:记res为计算结果，则热力图和高斯分布乘积的计算公式为，

res_i＝Hnew_i(h,w)*G(h,w)；

其中，