[发明专利]一种行为识别方法及装置、电子设备和存储介质

权利要求书

1.一种行为识别方法，其特征在于，包括：

接收输入的视频帧，并提取所述视频帧中的人物特征；

对所述视频帧中的多个所述人物特征进行聚类，得到聚类结果；

基于所述聚类结果确定所述视频帧中人物特征的注意力分配权重；

基于所述注意力分配权重更新所述人物特征；

基于所述更新后的人物特征，提取人物时空特征；

基于所述人物时空特征，对所述视频帧进行行为识别，得到识别结果；

所述基于所述聚类结果确定所述视频帧中人物特征的注意力分配权重，包括：

基于所述聚类结果中所述人物特征之间的关联关系，确定所述人物特征之间的注意力分配权重。

2.根据权利要求1所述方法，其特征在于，所述基于所述聚类结果中所述人物特征之间的关联关系，确定所述人物特征之间的注意力分配权重，包括：

确定聚类得到的同一组内的人物特征之间的第一相似度；

基于所述第一相似度，确定组内人物特征之间的第一注意力分配权重。

3.根据权利要求2所述方法，其特征在于，确定聚类得到的同一组内的人物特征之间的第一相似度，包括：

将所述人物特征的特征矩阵划分为N份；

对不同的人物特征的N份特征分别对应计算相似度，得到N个第一相似度；

所述基于所述第一相似度，确定组内人物特征之间的第一注意力分配权重，包括：

基于所述N个第一相似度，确定组内人物特征之间的N个第一注意力分配权重。

4.根据权利要求2-3任一所述方法，其特征在于，所述基于所述聚类结果中所述人物特征之间的关联关系，确定所述人物特征之间的注意力分配权重，包括：

确定聚类得到的各组的总体特征；

确定聚类得到的各组的总体特征之间的第二相似度；

基于所述第二相似度，确定所述人物特征之间的第二注意力分配权重。

5.根据权利要求1-3任一所述方法，其特征在于，所述基于所述注意力分配权重更新所述人物特征，包括：

针对单个组的人物特征中的目标人物特征，利用目标人物特征与组内的各人物特征的第一注意力分配权重，对组内的各人物特征进行加权求和，得到组内各人物对应的组内更新特征，作为更新后的人物特征。

6.根据权利要求1-3任一所述方法，其特征在于，所述基于所述注意力分配权重更新所述人物特征，包括：

针对各组中的目标分组的目标总体特征，利用目标总体特征与各组的总体特征的第二注意力分配权重，得到各组对应的组间更新特征；

将所述组间更新特征分别加到目标分组中的各人物对应的组内更新特征中，得到更新后的人物特征。

7.根据权利要求1所述方法，其特征在于，所述基于所述更新后的人物特征，提取人物时空特征，包括：

将更新后的人物特征进行空间解码，得到人物时空特征。

8.根据权利要求7所述方法，其特征在于，将更新后的人物特征进行空间解码，得到人物时空特征，包括：

将更新后的人物特征进行空间解码，得到人物空间特征；

将多个视频帧的所述人物特征进行时域编码与解码，得到人物时域特征；

将所述人物空间特征与所述人物时域特征进行融合，得到人物时空特征。

9.根据权利要求8所述方法，其特征在于，所述将多个视频帧的所述人物特征进行时域编码与解码，得到人物时域特征，包括：

基于自注意力机制对多个视频帧的所述人物特征进行编码，得到时域编码特征；

基于自注意力机制对所述时域编码特征进行解码，和/或基于空间编码特征对所述时域编码特征进行解码，得到人物时域特征；其中，所述空间编码特征为所述更新后的人物特征。