[发明专利]行为识别方法、装置、电子设备及存储介质

说明书

本发明涉及行为识别技术领域，提供一种行为识别方法、装置、电子设备及存储介质，该方法首先获取目标视频中每个视频片段内的至少三帧图像；然后将至少三帧图像中的至少一帧图像，以及至少三帧图像中其他帧图像的语义分割结果分别输入至双流网络模型，得到每个视频片段内的空间外观特征以及时间动态特征；最后将每个视频片段内的空间外观特征以及时间动态特征进行融合，得到每个视频片段对应的融合结果，并基于融合结果确定目标视频中的行为识别结果。该方法通过语义分割结果代替光流图输入至双流网络模型，得到行为动态特征，不仅可以保证表观不变性以及特征准确性，还可以大大降低双流网络模型的计算量，提高双流网络模型的实时性。

技术领域

本发明涉及行为识别技术领域，尤其涉及一种行为识别方法、装置、电子设备及存储介质。

背景技术

随着深度学习理论的迅速发展，计算机视觉技术得到了广泛的研究和进步，计算机视觉研究的一个热门方向就是行为识别，其主要任务是自动分析一段视频中的人类的行为并正确识别属于哪一类行为。在安全监控、智能医疗、智能家居、人机交互和视频检索等领域具有重要的应用价值和研究价值。近些年来，深度卷积神经网络(ConvNets)在图像识别和视频理解等方面取得了重大突破，这给视频行为识别带来了一些新的研究方向。

现阶段的行为识别主要有两种主流方法：基于双流网络(Two-stream Network)和基于3D卷积神经网络(Convolutional Neural Network，CNN)。双流网络由两条2D CNN组成，一条输入RGB图像提取空间特征，另一条输入堆叠的光流图提取时间特征，将空间特征和时间特征做平均得到最后的输出，也可以利用得到的空间特征和时间特征训练支持向量机(Support Vector Machine，SVM)。3D卷积神经网络则可以同时直接提取空间维度与时间维度的特征。

但是双流网络中的时间流网络所使用的光流图计算量很大，导致模型的实时性效果不好。而由于3D卷积神经网络同时学习了时间特征以及空间特征导致参数量较多，计算量较大，在缺少大体量数据集的情况下训练周期长且容易产生过拟合。

发明内容

本发明提供一种行为识别方法、装置、电子设备及存储介质，用以解决现有技术中存在的缺陷。

本发明提供一种行为识别方法，包括：

获取目标视频中每个视频片段内的至少三帧图像；

将所述至少三帧图像中的至少一帧图像，以及所述至少三帧图像中除所述至少一帧图像外的其他帧图像的语义分割结果分别输入至双流网络模型，得到所述双流网络模型输出的每个视频片段内的空间外观特征以及时间动态特征；

将每个视频片段内的空间外观特征以及时间动态特征进行融合，得到每个视频片段对应的融合结果，并基于所述融合结果确定所述目标视频中的行为识别结果；

其中，所述双流网络模型基于样本视频训练得到。

根据本发明提供的一种行为识别方法，所述将所述至少三帧图像中的至少一帧图像，以及所述至少三帧图像中除所述至少一帧图像外的其他帧图像的语义分割结果分别输入至双流网络模型，得到所述双流网络模型输出的每个视频片段内的空间外观特征以及时间动态特征，之前包括：

将所述至少三帧图像输入至空间变换网络，得到所述空间变换网络输出的所述至少三帧图像中的感兴趣区域；所述空间变换网络基于携带有感兴趣区域标签的样本图像训练得到；

相应地，所述将所述至少三帧图像中的至少一帧图像，以及所述至少三帧图像中除所述至少一帧图像外的其他帧图像的语义分割结果分别输入至双流网络模型，得到所述双流网络模型输出的每个视频片段内的空间外观特征以及时间动态特征，包括：

将所述至少一帧图像中的感兴趣区域，以及所述其他帧图像中的感兴趣区域的语义分割结果分别输入至所述双流网络模型，得到所述双流网络模型输出的所述空间外观特征以及所述时间动态特征。