[发明专利]一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统

权利要求书

1.一种基于注意力感知和树形骨架点结构的人体行为识别方法，包括以下步骤：

1)输入训练集中所有行为样本的骨架点信息；

2)通过添零补帧使各样本帧数一致；

3)使用三向树状遍历法则对无序的骨架点进行重构；

4)对重构后得到的特征图即三向树遍历图的拉普拉斯矩阵进行归一化处理；

5)构建注意力感知网络和主体网络；

6)将注意力感知网络和主体网络分层级连接；

7)将步骤4)归一化处理后的结果分别输入主体网络和注意力感知网络，训练行为识别网络模型；

8)利用训练好的行为识别网络模型进行行为识别；

其中，步骤3)包括：

3.1)由骨架点集合V，采用深度遍历法进行遍历并存储空间关系为α，用逆深度遍历法进行遍历并存储空间关系为β；

3.2)由步骤1中获取的骨架点集合V，计算骨架点的自连接关系γ；

3.3)定义骨架结构为包含N个节点的无向树T＝(V,A)，使用A记录节点的连接关系，即为邻接矩阵，从而获得骨架点的最终空间描述，即三向树遍历图TTTM，定义如下，其中stack即为在新的维度上堆叠三个邻接矩阵：

TTTM＝stack(A_α,A_β,A_γ)；

其中，步骤5)构建的注意力感知网络的输出为三个分别包含网络低、中、高层次信息的骨架点权重矩阵，该权重矩阵分层级与构建的主体网络相结合。

2.如权利要求1所述的方法，其特征在于，步骤1)的输入为原始的骨架序列，没有任何的数据增强和去噪操作。

3.如权利要求1所述的方法，其特征在于，步骤2)将骨架序列的帧数进行归一化，均固定为300帧，便于步骤3)中使用三向树状遍历法则对数据进行重构。

4.如权利要求1所述的方法，其特征在于，步骤5)构建的注意力感知网络，通过模拟人的注意力机制，将注意力网络作为主体网络的分支，以有效感知在本行为识别任务中更为关键的骨架点，通过赋予骨架点不同的权重，减少弱相关骨架点的干扰，提高行为识别的精度和效率。

5.如权利要求1所述的方法，其特征在于，所述注意力感知网络是用于生成骨架点权重信息的5层CNN网络，包括前三个5×5的作用于骨架序列的卷积层Conv，每层分别经过ELU激活函数和步长为3、2、2的pooling操作，后两个为3×3的卷积层，同样使用ELU激活函数；所述主体网络的结构单元包含四个卷积操作，前三个是具有相同结构的并行卷积操作，均包含一个二维卷积层，一个BN层来对神经元做归一化处理，以及一个ReLU非线性激活函数，最后一个卷积操作还包含一个全局pooling操作来降维整合特征。

6.一种采用权利要求1～5中任一项所述方法的基于注意力感知和树形骨架点结构的人体行为识别系统，其特征在于，包括：

数据预处理单元，负责输入训练集中所有行为样本的骨架点信息，通过添零补帧使各样本帧数一致，使用三向树状遍历法则对无序的骨架点进行重构，以及对重构后得到的特征图的拉普拉斯矩阵进行归一化处理；

识别网路的构建和训练单元，负责构建注意力感知网络和主体网络，将注意力感知网络和主体网络分层级连接，并将重构的特征图分别输入主体网络和注意力感知网络，训练行为识别网络模型；

行为识别单元，负责利用训练好的行为识别网络模型进行行为识别。