[发明专利]一种基于广义图卷积和强化学习的人体骨架动作识别方法

权利要求书

1.一种基于广义图卷积和强化学习的人体骨架动作识别方法，其特征在于，包括以下步骤：

步骤1：构建人体骨架序列矩阵，将人体骨架序列矩阵中每个元素定义为动作序列图像中人体关节点的三维坐标，进一步对动作序列图像中人体关节点的三维坐标进行中心化处理、对齐处理；

步骤2：构建预定义骨架图；

步骤3：将训练集送入到广义图卷积网络中进行特征提取，利用全局平均池化对特征进行聚合，利用全连接层分类器对特征进行分类，根据标签计算损失函数，通过反向传播梯度下降的方式更新网络参数，循环上述过程得到训练后的广义图卷积网络、训练后的分类器；

步骤4：结合步骤3中训练后的广义图卷积网络、训练后的分类器，广义图卷积学习到的特征，构建特征选择网络来自适应地选择时间维上对识别有用的特征，并利用强化学习方法进行训练；

步骤5：将步骤1中得到的待识别的骨架数据作为网络输入，通过训练后的广义图卷积网络提取到大小为(N,C,T,V)的高维特征，经过空间平均池化后特征维度变为(N,C,T)；进一步由训练后的特征选择网络对每个特征进行选择，输出一个大小为(N,T)的布尔矩阵，1代表该特征选来最终识别，0代表丢弃；通过平均池化对选择的特征进行特征聚合，送入训练后的分类器得到分类结果。

2.根据权利要求1所述的基于广义图卷积和强化学习的人体骨架动作识别方法，其特征在于：

步骤1所述构建人体骨架序列矩阵为：

构建大小为(T,V,M)的三维矩阵；

步骤1所述将人体骨架序列矩阵中每个元素定义为动作序列图像中人体关节点的三维坐标

步骤1所述人体骨架序列矩阵中每个元素为动作序列图像中人体关节点的三维坐标，具体定义为：

data_t,v,m,t∈[1,T],v∈[1,V],m∈[1,M]

其中，T为动作序列图像帧的数量，V为人体中关节点的数量，M为人的数量，data_t,v,m∈R³为三维特征向量，表示第t帧动作序列图像中第m个人体的第v个关节点的三维坐标；

步骤1所述对动作序列图像中人体关节点的三维坐标进行中心化处理为：

各关节点的三维坐标减去骨架重心处节点的三维坐标，即：

data_t,v,m,t∈[1,T],v∈[1,V],m∈[1,M]

其中，T为动作序列图像帧的数量，V为人体中关节点的数量，M为人的数量，data_t,v,m∈R³为三维特征向量，表示第t帧动作序列图像中第m个人体的第v个关节点的三维坐标，v_c为腰关节的关节点编号，v_c∈[1,V]；

步骤1所述对动作序列图像中人体关节点的三维坐标进行对齐处理为：

将骨架坐标旋转，使得左肩、右肩构成的连线与x轴平行，即

其中，表示第t帧动作序列图像中第m个人体的左肩关节点的三维坐标，表示第t帧动作序列图像中第m个人体的右肩关节点的三维坐标，v₁为右肩节关节点的编号，v₂为右肩关节点的编号，v₁∈[1,V]，v₂∈[1,V]。

3.根据权利要求1所述的基于广义图卷积和强化学习的人体骨架动作识别方法，其特征在于：

步骤2所述构建预定义骨架图为：

继而可获得每个节点的邻接节点集，本发明将每个节点v的邻接节点分为节点自身子集、邻接节点中离重心的距离比该节点更近的点子集、邻接节点中离重心的距离比该节点更远的点子集；

所述节点自身子集为：

其中，1≤v≤V，1≤t≤T，1≤m≤M；

所述邻接节点中离重心的距离比该节点更近的点子集为：

其中，1≤v，v′，v_c≤V，1≤t≤T，1≤m≤M，v_c为人体重心处的结点，E为相点构成的边的集合，为欧氏距离函数；

所述邻接节点中离重心的距离比该节点更远的点子集为：

其中，1≤v，v′，v_c≤V，1≤t≤T，1≤m≤M，v_c为人体重心处的结点，E为相点构成的边的集合，为欧氏距离函数。