[发明专利]一种基于多流三维自适应图卷积的人体行为识别方法

权利要求书

1.一种基于多流三维自适应图卷积的人体行为识别方法，其特征在于，包括以下步骤：

1)采集包含人体的视频，标注视频中人体的骨架信息和行为类别，构建训练集；

2)利用训练集构建自适应空间域注意力矩阵SAM和自适应时间域注意力矩阵TAM；

3)利用自适应空间域注意力矩阵SAM构建自适应空间域注意力图卷积模块ASAGCM，利用自适应时间域注意力矩阵TAM构建自适应时间域注意力图卷积模块ATAGCM；构建三维时空域图卷积模块GCN-3d；

自适应空间域注意力图卷积模块ASAGCM构建过程为：根据骨架的连接结构得到邻接矩阵，利用自适应系数平衡邻接矩阵和自适应空间域注意力矩阵SAM的权重后与输入特征图相乘，叠加通道后经过1×1空间域图卷积得到输出特征图；

自适应空间域注意力图卷积模块ASAGCM的实现用公式表示如下：

式中，f_in、f_out表示输入特征图和输出特征图，α为随着训练迭代更新的空间自适应系数，A_k是根据人体骨架连接关系得到的邻接矩阵，A_k的计算规则为：骨架中第n个节点和第m个节点若相连，则A_k中第n行第m列元素为1，否则为0，当n＝m时，第n行第m列为1；是空间域1×1卷积的权重，k是子集序号，K_v是子集总数；

自适应时间域注意力图卷积模块ATAGCM的构建过程为：利用自适应系数平衡单位矩阵E和自适应时间域注意力矩阵TAM的权重后与输入特征图相乘，经过卷积核大小为K_t×1时间域图卷积得到输出特征图；

自适应时间域注意力图卷积模块ATAGCM的实现用公式表示如下：

f_out＝W_tf_in(βE+(1-β)·TAM)

式中，β为随着训练迭代更新的空间自适应系数，E为单位矩阵，W_t是时间域K_t×1图卷积权重，K_t×1为卷积核大小；

三维时空域图卷积模块GCN-3d构建过程如下：构建三维邻接矩阵A_τ，与输入特征图相乘，经过卷积核大小为1×1三维时空域图卷积得到输出特征图；

三维时空域图卷积模块GCN-3d的实现用公式表示如下：

f_out＝W_τf_inA_τ

式中，A_τ由A按行和列扩展τ次得到，其中，表示实数域，V为人体骨架关键点个数，W_τ为时空域图卷积权重；

4)利用自适应空间域注意力图卷积模块ASAGCM、自适应时间域注意力图卷积模块ATAGCM和三维时空域图卷积模块GCN-3d构建自适应图卷积层；

5)利用自适应图卷积层构建自适应图卷积网络；

6)利用自适应图卷积网络构建多流三维自适应图卷积网络；

7)利用训练集训练多流三维自适应图卷积网络；

8)利用训练后的多流三维自适应图卷积网络对视频中的人体进行行为识别。