[发明专利]行为识别方法、装置、电子设备和存储介质

说明书

本公开提供一种行为识别方法、装置、电子设备和存储介质。该方法包括：将待识别视频中的视频帧按时序分为至少两个视频片段，按序从每个所述视频片段中采样一帧视频图像，得到视频图像序列，将视频图像序列输入预先训练的特征提取卷积神经网络，得到与待识别视频对应的目标特征图像，将目标特征图像输入行为识别模型，得到与待识别视频对应的行为识别结果。通过在对待识别视频进行特征提取的特征提取卷积神经网络中并列引入时空激活卷积神经网络、网络信道激活卷积神经网络和运动激活卷积神经网络，相对于2D‑CNN仅增加少量计算量但识别准确度却相应提高，相对于3D‑CNN则大大减少计算量且识别准确度也得到提高。

技术领域

本公开的实施例涉及计算机视觉技术领域，具体涉及行为识别方法、装置、电子设备和存储介质。

背景技术

行为识别主要研究在视频中识别出目标的动作类别，例如判断视频中一个人是在走路、跳跃还是在拍手等。行为识别除了关注空间的依赖关系，也需要在时间维度关注历史信息。

发明内容

本公开的实施例提出了行为识别方法、装置、电子设备和存储介质。

第一方面，本公开的实施例提供了一种行为识别方法，该方法包括：

在一些可选的实施方式中，所述特征提取卷积神经网络和所述行为识别模型是通过如下训练步骤预先训练得到的：

获取训练样本集合，其中，训练样本包括训练样本视频和用于表征该训练样本视频所表征行为类别的样本标注信息；

对每个所述训练样本视频，将该训练样本视频中的视频帧按时序分为至少两个视频片段，以及按序从每个所述视频片段中采样一帧视频图像，得到每个训练样本视频对应的视频图像序列；

对于所述训练样本集合中的训练样本视频，执行以下参数调整操作直到满足预设训练结束条件：将该训练样本视频对应的视频图像序列输入所述初始特征提取卷积神经网络，得到与该训练样本视频对应的样本目标特征图像，所述初始特征提取卷积神经网络包括并列设置的初始时空激活卷积神经网络、初始网络信道激活卷积神经网络和初始运动激活卷积神经网络，所述初始时空激活卷积神经网络包括网络信道池化层、时空卷积层和激活函数层，所述初始网络信道激活卷积神经网络包括空间池化层和激活函数层，所述初始运动激活卷积神经网络包括空间卷积层、时序相邻帧差异特征提取层、空间池化层和激活函数层；将所述样本目标特征图像输入初始行为识别模型，得到与该训练样本视频对应的行为识别结果；基于所得到的行为识别结果与该训练样本中样本标注信息之间的差异调整所述特征提取卷积神经网络和所述初始行为识别模型的参数；

分别将所述初始特征提取卷积神经网络和所述初始行为识别模型确定为所述特征提取卷积神经网络和所述行为识别模型。

在一些可选的实施方式中，所述预设训练结束条件包括以下至少一项：

用测试样本集合测试所述初始特征提取卷积神经网络和所述初始行为识别模型的准确率大于预设准确率阈值，所述测试样本包括测试样本视频和用于表征该测试样本视频所表征行为类别的样本标注信息；

所得到的行为识别结果与该训练样本中样本标注信息之间的差异小于预设差异阈值；

执行所述参数调整操作的次数大于等于预设调参次数阈值。

在一些可选的实施方式中，所述行为识别模型包括第一预设数目个按序排列的空间特征分类器，所述目标特征图像包括所述第一预设数目个按序排列的空间特征图像，所述行为识别结果包括第二预设数目个行为类别中每个行为类别的概率值；以及

所述将所述目标特征图像输入行为识别模型，得到与所述待识别视频对应的行为识别结果，包括：

分别将各所述空间特征图像输入相应顺序的空间特征分类器中，得到相应的行为识别结果；