[发明专利]行为识别的方法、系统、计算机设备和存储介质

说明书

本申请涉及一种行为识别的方法、系统、计算机设备和存储介质。方法包括：获取待识别的视频；对待识别的视频进行处理提取图片信息和人体姿态信息；将图片信息和人体姿态信息输入预先训练的双流卷积神经网络，获得图像特征和人体姿态特征；将图像特征和人体姿态特征进行注意力融合；对融合后的图像特征和人体姿态特征进行分析，计算每个行为类别之间的相对概率；选择相对概率最高的行为类别为行为的预测值，预测值用于确定行为。上述方法采用双流卷积神经网络，在神经网络的空间流中输入RGB图片，时域流中输入人体姿态信息，不需要计算光流信息，大大减少了计算量以及计算成本；另外，还采用了注意力融合技术，能进一步提高识别的准确率。

技术领域

本申请涉及图形处理及行为识别技术领域，特别是涉及一种行为识别的方法、系统、计算机设备和存储介质。

背景技术

近年来，视频和图像成为互联网中越来越重要的信息载体，同时视频监控也越来越多的承担起了公共场所内的安全保障，如果使用计算机视觉技术主动识别分析视频中人类的行为就成为了如今研究的热点。传统的行为识别之中，需要手工提取特征，特征的识别效果很大程度上依赖特征设计者的经验。但随着卷积神经网络的出现可以通过数据自动学习出可用的特征，从而得到了广泛应用。另外，卷积神经网络深度和复杂度的不断加深，行为识别的准确率也越来越高，但仍然和人类的表现有明显的差距。视频中行为识别正确率的提升受光照条件各异、视角多样、背景复杂、类内变化大等诸多因素的影响。

双流卷积神经网络是一种常用的行为识别的方法，但该方法中光流信息的计算复杂度很高。因此，人们经常用前后十帧作为光流信息，这样对于每个的运动能够捕获的信息可能会过长或是过短，从而导致识别的准确度低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够解决的问题的行为识别的方法、系统、计算机设备和存储介质。

一种行为识别的方法，所述方法包括：

获取待识别的视频；

对所述待识别的视频进行处理提取图片信息和人体姿态信息；

将所述图片信息和所述人体姿态信息输入预先训练的双流卷积神经网络，获得图像特征和人体姿态特征；

将所述图像特征和所述人体姿态特征进行注意力融合；

对融合后的图像特征和人体姿态特征进行分析，计算每个行为类别之间的相对概率；

选择所述相对概率最高的行为类别为行为的预测值，所述预测值用于确定行为。

在其中一个实施例中，所述预先训练的双流卷积神经网络的训练方法，包括：

采用图像分类数据集上预训练密集连接的双流卷积神经网络；

以所述预训练密集连接的双流卷积神经网络作为初始参数，在视频数据集中提取的RGB图像上微调空间网络；

以微调后的所述空间网络作为初始参数，在视频数据集中提取的人体姿态图像上微调时域网络；

以微调后的所述空间网络的参数和微调后的所述时域网络的参数作为双流卷积神经网络的初始参数，固定网络流的卷积层参数，在视频数据集上训练所述双流卷积神经网络的融合层，得到所述预先训练的双流卷积神经网络。

在其中一个实施例中，所述图片信息包括图片帧；对所述待识别的视频进行处理提取图片信息和人体姿态信息的步骤中，包括：

将所述待识别的视频剪裁成图片帧。

在其中一个实施例中，对所述待识别的视频进行处理提取图片信息和人体姿态信息的步骤中，还包括：

对所述图片帧进行处理，提取人体姿态信息。

在其中一个实施例中，在提取所述姿态信息的步骤之前，还包括：