[发明专利]基于角度无关性的骨架行为识别方法、系统及设备

权利要求书

1.一种基于角度无关性的骨架行为识别方法，其特征在于，包括：

将待识别的骨架时间序列按不同的视角，输入到训练好的骨架行为识别模型中；

利用所述训练好的骨架行为识别模型，计算待识别骨架时间序列的行为类别概率；

其中，

所述骨架行为识别模型，包括：预设数量的特定视角子网，以及公共子网；

所述骨架行为识别模型的训练方法，包括以下步骤：

步骤S1，针对每个所述特定视角子网，输入与该特定视角对应的一帧训练数据，分别计算空域注意力权重、时域注意力权重，进而计算出该特定视角子网的判别性特征，具体包括：

步骤S11，通过空域注意力模块，为每个关节点分配注意力权重，得到第j个视角下第t帧中第k个关节点的空域注意力权重为

步骤S12，通过时域注意力模块，为每一帧分配时域注意力权项，得到第t帧的时域注意力权重为

步骤S13，根据训练数据和空域注意力权重，通过判别性特征提取模块提取训练数据在该特定视角上的判别性特征，判别性特征提取模块由3层LSTM构成，该模块的输入如公式所示，分别为第j个视角下第t帧中第k个关节点的空域注意力权重和输入数据；

步骤S14，根据时域注意力权重和该特定视角上的判别性特征，输出该特定视角子网的判别性特征，判别性特征提取模块的输出与时域注意力权重点乘，得到该特定视角子网的判别性特征作为公共子网输入数据的第j个元素；

步骤S2，将各个所述特定视角子网的判别性特征串联为视角序列，作为所述公共子网的输入，计算角度无关性特征和视角注意力权重，进而计算出所述训练数据的行为类别的概率；

步骤S3，判断训练数据是否已全部输入，若是，则转至步骤S4；否则，转至步骤S1；

步骤S4，计算损失函数；

步骤S5，判断损失函数是否收敛，若是则训练结束，否则，转至步骤S6；

步骤S6，调整所述骨架行为识别模型的参数，转至步骤S1。

2.根据权利要求1所述的骨架行为识别方法，其特征在于，

所述特定视角子网，包括：空域注意力模块、时域注意力模块、判别性特征提取模块；

所述公共子网，包括：双向长短时记忆网络、视角注意力模块、概率计算模块。

3.根据权利要求2所述的骨架行为识别方法，其特征在于，步骤S1中“计算空域注意力权重、时域注意力权重，进而计算出该特定视角子网的判别性特征”，具体包括：

通过所述空域注意力模块，为每个关节点分配注意力权重；

通过所述时域注意力模块，为每一帧分配时域注意力权重；

根据所述训练数据和所述空域注意力权重，通过所述判别性特征提取模块提取所述训练数据在该特定视角上的判别性特征；

根据所述时域注意力权重和所述该特定视角上的判别性特征，输出该特定视角子网的判别性特征。

4.根据权利要求2所述的骨架行为识别方法，其特征在于，步骤S2中“计算角度无关性特征和视角注意力权重，进而计算出所述训练数据的行为类别的概率”，具体包括：

通过所述双向长短时记忆网络输出角度无关性特征；

通过所述视角注意力模块给每个所述特定视角分配不同的视角注意力权重；

根据所述角度无关性特征、所述视角注意力权重，通过所述概率计算模块，得到所述训练数据的行为类别的概率。