[发明专利]一种行为识别方法及装置、电子设备和存储介质

说明书

本公开涉及一种行为识别方法及装置、电子设备和存储介质，所述方法包括：接收输入的视频帧，并提取所述视频帧中的人物特征；对所述视频帧中的多个所述人物特征进行聚类，得到聚类结果；基于所述聚类结果确定所述视频帧中人物特征的注意力分配权重；基于所述注意力分配权重更新所述人物特征；基于所述更新后的人物特征，提取人物时空特征；基于所述人物时空特征，对所述视频帧进行行为识别，得到识别结果。本公开实施例可提高行为识别的准确度。

技术领域

本公开涉及计算机技术领域，尤其涉及一种行为识别方法及装置、电子设备和存储介质。

背景技术

在人群行为识别(Group Activity Recognition)技术中，会通过计算机视觉算法来识别视频画面中不同人的动作类别，以及该画面描述的人群行为类别，常用于体育赛事等场景的行为识别。例如，对于排球比赛视频，该任务需要识别每位排球运动员的动作类别以及该段视频所描述的人群活动类别(左边传球、右边传球、左边扣球等)。对于该任务，我们通常可以先检测视频中的人体，再通过个体动作识别(Individual ActionRecognition)，根据个体的动作进一步的推断该视频的人群行为类别。

近年来随着深度学习在计算机视觉上的发展，过去许多工作通常利用卷积神经网络来检测视频中每个人的动作，并利用全局池化来得到人群总体特征来识别人群行为类别。人群行为识别除依赖于个体动作和视频背景信息之外，也依赖于个体动作之间的关系信息。除了使用卷积神经网络以为，一些方法还利用图卷积网络、循环神经网络、Transformer等模型，来捕获并分析个体动作之间的关系信息。

但是传统的基于深度学习的方法都是尝试建立更大规模的时空关系模型和更多样的输入特征(视频光流、人体关键点信息)来提升人群行为识别的准确性，人群行为识别的准确性有待进一步提高。

发明内容

本公开提出了一种行为识别技术方案。

根据本公开的一方面，提供了一种行为识别方法，包括：

接收输入的视频帧，并提取所述视频帧中的人物特征；

对所述视频帧中的多个所述人物特征进行聚类，得到聚类结果；

基于所述聚类结果确定所述视频帧中人物特征的注意力分配权重；

基于所述注意力分配权重更新所述人物特征；

基于所述更新后的人物特征，提取人物时空特征；

基于所述人物时空特征，对所述视频帧进行行为识别，得到识别结果。

在一种可能的实现方式中，所述基于所述聚类结果确定所述视频帧中人物特征的注意力分配权重，包括：

基于所述聚类结果中所述人物特征之间的关联关系，确定所述人物特征之间的注意力分配权重。

在一种可能的实现方式中，所述基于所述聚类结果中所述人物特征之间的关联关系，确定所述人物特征之间的注意力分配权重，包括：

确定聚类得到的同一组内的人物特征之间的第一相似度；

基于所述第一相似度，确定组内人物特征之间的第一注意力分配权重。

在一种可能的实现方式中，确定聚类得到的同一组内的人物特征之间的第一相似度，包括：

将所述人物特征的特征矩阵划分为N份；

对不同的人物特征的N份特征分别对应计算相似度，得到N个第一相似度；

所述基于所述第一相似度，确定组内人物特征之间的第一注意力分配权重，包括：

基于所述N个第一相似度，确定组内人物特征之间的N个第一注意力分配权重。