[发明专利]一种基于DenseNet网络与帧差法特征输入的人体行为识别方法

说明书

本发明提供一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其可以在占用较少内存和更少训练时间的基础上，在进行人体行为识别的时候取得较高的准确率。其包括：S1：获得待识别动作视频数据；获取待识别动作视频数据的静态灰度图像序列,利用帧差法生成包含运动主体运动特征的运动帧差图；S2：以DenseNet模型为基础构建骨干网络模型，通过骨干网络模型分别搭建时间流网络和空间流网络；S3：分别训练时间流网络和空间流网络，获得训练好的时间流网络和空间流网络；S4：将静态灰度图像序列的序列作为训练好的空间流网络的输入；将运动帧差图的序列作为训练好的时间流网络的输入，获得行为识别最终结果，完成动作识别操作。

技术领域

本发明涉及计算机视觉的行为识别技术领域，具体为一种基于DenseNet网络与帧差法特征输入的人体行为识别方法。

背景技术

从视频序列中识别人体行为的行为识别技术是一门涉及计算机视觉、模式识别和人工智能等诸多领域的研究课题。因其在视频监控、人机交互、运动分析和视频分类等多个领域中具有巨大的应用前景，因此人体行为识别技术已经成为机器视觉领域的研究热点之一。但是因为其应用环境的复杂性及相机抖动、背景复杂多变、行为的类内差异性等影响因素，现有的基于光流图片的时空双流行为识别模型存在着识别准确率低、训练时间长、因为稠密连接导致的模型参数量庞大的问题。

发明内容

为了解决现有技术中从视频序列中识别人体行为准确率低、训练时间长、模型参数量庞大的问题，本发明提供一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其可以在占用较少内存和更少训练时间的基础上，在进行人体行为识别的时候取得较高的准确率。

本发明的技术方案是这样的：一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其包括以下步骤：

S1：获得待识别动作视频数据；

S2：构建骨干网络模型，通过所述骨干网络模型分别搭建时间流网络和空间流网络；

S3：分别训练所述时间流网络和所述空间流网络，获得训练好的所述时间流网络和所述空间流网络；

S4：把所述待识别动作视频数据输入到训练好的所述时间流网络和训练好的所述空间流网络，获得行为识别最终结果，完成动作识别操作；

其特征在于：

步骤S2中所述骨干网络模型是以DenseNet模型为基础构建的，其包括4个DenseBlock、3个融合层，所述Dense Block之间设置所述融合层；

所述骨干网络模型后面依次连接全连接层；

步骤S1中，获得待识别动作视频数据，包括以下步骤：

S1-1：对于所述待识别动作视频数据进行分割采样与色彩空间转换，获取所述待识别动作视频数据的静态灰度图像序列；

S1-2：提取所述静态灰度图像序列间的图像运动信息特征，利用帧差法生成包含运动主体运动特征的运动帧差图；

步骤S4中，把所述待识别动作视频数据输入到训练好的所述时间流网络和训练好的所述空间流网络，包括以下步骤：

S4-1：将所述静态灰度图像序列的序列作为所述空间流网络的输入；

S4-2: 将步骤S4-1中选取的所述静态灰度图像序列对应的所述运动帧差图的序列作为所述时间流网络的输入。

其进一步特征在于：

步骤S4中，还包括以下步骤：

S4-3：把所述运动帧差图的序列和所述静态灰度图像序列分别输入到所述时间流网络、所述空间流网络后，生成两段具有显著特征的高层特征图连续序列，即时间流高层时间轴特征序列和空间流高层语义特征序列；