[发明专利]一种基于DenseNet网络与帧差法特征输入的人体行为识别方法

权利要求书

1.一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其包括以下步骤：

S1：获得待识别动作视频数据；

S2：构建骨干网络模型，通过所述骨干网络模型分别搭建时间流网络和空间流网络；

S3：分别训练所述时间流网络和所述空间流网络，获得训练好的所述时间流网络和所述空间流网络；

S4：把所述待识别动作视频数据输入到训练好的所述时间流网络和训练好的所述空间流网络，获得行为识别最终结果，完成动作识别操作；

其特征在于：

步骤S2中所述骨干网络模型是以DenseNet模型为基础构建的，其包括4个DenseBlock、3个融合层，所述Dense Block之间设置所述融合层；

所述骨干网络模型后面依次连接全连接层；

步骤S1中，获得待识别动作视频数据，包括以下步骤：

S1-1：对于所述待识别动作视频数据进行分割采样与色彩空间转换，获取所述待识别动作视频数据的静态灰度图像序列；

S1-2：提取所述静态灰度图像序列间的图像运动信息特征，利用帧差法生成包含运动主体运动特征的运动帧差图；

步骤S4中，把所述待识别动作视频数据输入到训练好的所述时间流网络和训练好的所述空间流网络，包括以下步骤：

S4-1：将所述静态灰度图像序列的序列作为所述空间流网络的输入；

S4-2: 将步骤S4-1中选取的所述静态灰度图像序列对应的所述运动帧差图的序列作为所述时间流网络的输入；

步骤S4中，还包括以下步骤：

S4-3：把所述运动帧差图的序列和所述静态灰度图像序列分别输入到所述时间流网络、所述空间流网络后，生成两段具有显著特征的高层特征图连续序列，即时间流高层时间轴特征序列和空间流高层语义特征序列；

S4-4：把所述时间流高层时间轴特征序列输入到所述时间流网络中的时间流分类器，采用分类器计算所述时间流高层时间轴特征对于动作标签的时间概率分布；

S4-5：把所述空间流高层语义特征序列输入到所述空间流网络中的空间流分类器，采用所述分类器计算所述空间流高层语义特征序列对于动作标签的空间概率分布；

S4-6：通过所述时间概率分布和所述空间概率进行平均求和来获取动作的总体概率分布，完成行为识别模型的双流融合，通过筛选出概率最高的动作类作为所述行为识别最终结果。

2.根据权利要求1所述一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其特征在于：所述骨干网络模型中的Dense Block中包括4个Conv Core，每一个ConvCore 中含有一个1×1卷积和一个3×3卷积的操作，每个3×3卷积层后面跟随一个激活函数。

3.根据权利要求1所述一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其特征在于：所述骨干网络模型中的所述融合层包括1个1×1的卷积层和1个2×2的最大池化层，每个1×1的卷积层后面跟着一个激活函数和一个批量归一化层。

4.根据权利要求1所述一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其特征在于：所述骨干网络模型中的所述全连接层有两个，各自层对应节点数分别设置为512和101。

5.根据权利要求2所述一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其特征在于：所述Conv Core中的每个3×3卷积层后面跟着一个批量归一化层进行批量归一化操作。

6.根据权利要求1所述一种基于DenseNet网络与帧差法特征输入的人体行为识别方法，其特征在于：步骤S1-1中，获取所述待识别动作视频数据的所述静态灰度图像序列的步骤如下：

S1-1-1：获取所述待识别动作视频数据后，将视频图像序列分解为静态图像序列；

S1-1-2：基于跳帧采集策略，设置采样步长后，获取静态RGB图像序列；

S1-1-3：把所述静态RGB图像序列通过色彩空间转换转化为所述静态灰度图像序列。