[发明专利]结合3D跃层连接和循环神经网络的人体行为识别方法

说明书

本发明公开一种结合3D跃层连接和循环神经网络的人体行为识别方法，包括如下步骤：步骤1，将每段视频划分为N部分，从每部分提取L帧图片，N、L均为自然数；步骤2，利用训练好的3D卷积神经网络对视频进行时空特征提取，并将不同层次的时空特征进行串联连接得到高维特征向量；步骤3，对步骤2得到的高维特征向量进行规范化处理；步骤4，将步骤3中规范化处理后的高维特征向量送入循环神经网络，进行特征融合；步骤5，对步骤4中融合后的特征进行分类，得到视频对应的动作类别。此种方法不需要人工提取低层运动信息，相比人工运动特征设计方法，本发明具有更好的鲁棒性，同时能有效处理较长时间的视频信息。

技术领域

本发明属于计算机视觉识别技术领域，特别涉及一种结合3D卷积层跃层连接和循环神经网络的人体行为识别方法。

背景技术

由于人体行为识别在视频监控、人机交互、虚拟现实等领域有着重要的应用前景和市场价值，因此基于视频的人体动作识别已成为计算机视觉中研究热点之一。同时，随着深度学习的尤其是卷积神经网络在计算机视觉中取得了有效的成果，基于卷积神经网络的人体行为得到了大量研究者的关注。

专利号为CN201611117772.9的《基于轨迹和卷积神经网络特征提取的行为识别方法》首先对输入的图像视频数据提取轨迹，再利用卷积神经网络提取卷积特征，然后结合轨迹和卷积层特征抽取基于轨迹约束的卷积特征并提取栈式局部费舍尔向量特征，最后训练支持矢量机模型，达到分类目的。

专利号为CN201510527937.9的《基于3D卷积神经网络的人体行为识别方法》首先筛选人体行为特征明显的图像并保存，然后对保存后的图像，分别提取灰度、x和y方向的梯度和光流共计五个通道信息，接着利用卷积神经网络提取五个通道信息的卷积特征最后实现分类。

以上两种方法都需要提前利用视频数据提取低维运动信息，无法直接将原始视频数据送入网络，因此无法实现端对端的分类预测。

专利号为CN201610047682.0的《基于深度学习和多尺度信息的行为识别方法》首先将深度视频拆分成多个视频段，然后对每个视频段使用分支神经网络进行学习，再对并行运行的各神经网络分支学习到的高层表示进行简单融合连接，最后将融合后的高层表示送入全连接层和分类层进行分类识别。此方法中当输入持续时间较长的视频时，会使得融合后的特征维度过高，从而使得网络较难训练。

综上所述，虽然国内外对基于卷积神经网络的动作识别有较多研究，但存在需要对视频数据提前进行人工运动信息提取或者无法处理持续时间较长的视频等问题。

发明内容

本发明的目的，在于提供一种结合3D跃层连接和循环神经网络的人体行为识别方法，其不需要人工提取低层运动信息，相比人工运动特征设计方法，本发明具有更好的鲁棒性，同时能有效处理较长时间的视频信息。

为了达成上述目的，本发明的解决方案是：

一种结合3D跃层连接和循环神经网络的人体行为识别方法，包括如下步骤：

步骤1，将每段视频划分为N部分，从每部分提取L帧图片，N、L均为自然数；

步骤2，利用训练好的3D卷积神经网络对视频进行时空特征提取，并将不同层次的时空特征进行串联连接得到高维特征向量；

步骤3，对步骤2得到的高维特征向量进行规范化处理；

步骤4，将步骤3中规范化处理后的高维特征向量送入循环神经网络，进行特征融合；

步骤5，对步骤4中融合后的特征进行分类，得到视频对应的动作类别。

上述步骤1中，若视频总帧数小于48帧则舍弃该视频，若视频总帧数不能被L整除，则舍弃最后几帧。