[发明专利]一种基于人体关键点热力图的实时肢体动作识别方法

权利要求书

1.一种基于人体关键点热力图的实时肢体动作识别方法，其特征在于：所述的方法包括以下几个步骤，

步骤1、获取原始动作视频，获取视频帧中人体的热力图，得到多个人体关键点；

步骤2、在每个人体关键点对应通道的热力图上找出预测的最大值索引，并以最大值索引为中心，取出其周围的n个值，将其余部分的预测值设置为0；

步骤3、采用标准差为0.6的二维高斯分布函数，以步骤2中最大值索引为中心，计算该点及其周围n个点与二维高斯分布函数的乘积，并生成一个通道对应的热力图，并将热力图的宽和高resize到64,64，并将该操作应用在所有通道和视频帧上，生成网络输入的热力图；

步骤4、将步骤3中得到的热力图沿时间维度堆叠，送入3D卷积神经网络中训练；

步骤5、将训练好的网络进行动作预测，得到网络输出类别结果，并进行展示。

2.根据权利要求1所述的一种基于人体关键点热力图的实时肢体动作识别方法，其特征在于，所述的步骤2中在每个人体关键点对应通道的热力图上找出预测的最大值索引的方法是，

记所得到的热力图为H，其shape为C*H*W，其中C为通道数；H，W分别为图片的高和宽；

在对应的shape为H*W的热力图上的每一个通道i上，找到最大值的索引号(Hmax,Wmax)，其计算公式为，

(Hmax_i,Wmax_i)＝index(max(H_i))，i∈(1,C)。

3.根据权利要求2所述的一种基于人体关键点热力图的实时肢体动作识别方法，其特征在于，所述的步骤3中以步骤2中最大值索引为中心，计算该点及其周围8个点与二维高斯分布函数的乘积，生成一个通道对应的热力图的方法是，

其中二维高斯分布表达式为:记res为计算结果，则热力图和高斯分布乘积的计算公式为，

res_i＝Hnew_i(h,w)*G(h,w)；

其中，

σ＝0.6，h∈[H max_i-1，H max_i+1]，w∈[W max_i-1，W max_i+1]，

对于C个通道均采取上述计算公式，便可以得到最终的热力图。

4.根据权利要求1所述的一种基于人体关键点热力图的实时肢体动作识别方法，其特征在于，所述的步骤4中沿时间维度堆叠的方法是，将步骤三得到的结果res记为t时刻的热力图，用res_t表示，此时res_t的维度为(C,H,W)；其中C为通道数；H，W分别为图片的高和宽；

将res沿时间堆叠的方法为将多个时刻的res拼接在一起形成一个4维的张量，其shape为(T,C,H,W),其中T为单位时间的数量；

且对应的公式为，