[发明专利]一种基于深度关节与手工表观特征融合的动作识别方法

权利要求书

1.一种基于深度关节与手工表观特征融合的动作识别方法，其特征在于，包括：

基于人体特有关节空域关系构建关节空间约束，所述关节空间约束包括关节相对距离约束和高相关度关节对约束；

构建具有空间和时间注意力机制的LSTM网络以得到关节特征；

通过热图定位重要关节并抽取附近外观特征；

将关节特征、外观特征融合后给出动作识别结果。

2.根据权利要求1所述一种基于深度关节与手工表观特征融合的动作识别方法，其特征在于，基于人体特有关节空域关系构建关节空间约束，具体为：

所有关节坐标表示为X_t＝(X_t,1,...,X_t,K)，其中X_t，k＝(x_t,k,y_t,k,z_t,k)表示第t帧内关节k坐标，且具有K个关节点的人体骨骼结构；

构造关节相对距离约束，取髋关节X_t,1＝(x₁,y₁,z₁)坐标为中心，髋关节与其它关节之间欧式距离表示如下：

其中，j＝2,3,...,K；

对d_{t,j_1}进行归一化得到如下相对距离为：

其中，d_{t,21_1}为锁骨及髋关节的距离；第t帧内关节相对距离表示为：

B_t＝[l_{t,2_1},l_{t,3_1}...,l_{t,K_1}] (3)

构造高相关度关节对约束，关节相对位置由下式获得：

C_{t,i_j}＝X_t,i-X_t,j (4)

其中，C_{t,i_j}表示第t帧内第j个关节相对第i个关节的坐标，即二者空域拓扑信息；

只选取相关度较高的一、二级相关信息，分别如下式所示：

R₁＝[C_{h_k},C_{m_n},…,C_{o_p}],R₂＝[C_{q_r},C_{u_v},…,C_{x_y}] (5)

其中，h，k；m，n；o，p表示仅由一条边相连的关节对，q，r；u，v；x，y表示由两条边相连的关节对；

某动作的关节序列空时信息表示如下：

f_t＝[X_t；B_t；R₁；R₂] (6)。

3.根据权利要求1所述一种基于深度关节与手工表观特征融合的动作识别方法，其特征在于，构建具有空间注意力机制的LSTM网络，具体为：

设t时刻所有关节权重表示为α_t＝(α_t,1,...,α_t,l)，l为输入特征f_t维数，对应得分s_t＝(s_t,1,...,s_t,l)表示为：

s_t＝tanh(w_ff_t+w_hh_t-1+b) (7)

采用tanh激活函数，w_f、w_h分别为输入数据f_t及上层LSTM隐藏变量h_t-1的加权矢量，b为偏差矢量；

经由Softmax激活函数获取表征关节空域重要性的权值：

输入主LSTM网络的空域加权特征为：

f_t′＝α_t⊙f_t (9)

其中，⊙为Hadamard积算子，表示矢量相应元素相乘。