[发明专利]一种基于运动历史图像与卷积神经网络的行为识别方法

说明书

本发明公开了一种基于运动历史图像与卷积神经网络的行为识别方法，包括以下步骤：S1、获取输入的原始视频图像，通过基于运动历史图像的行为序列特征提取方法对其进行处理；S2、采用基于深度卷积神经网络的方法对局部运动历史图像进行行为识别，得到行为类别分类器，最终通过该行为类别分类器输出行为识别结果。本发明从原始视频序列中计算运动历史图像，不仅减少了待处理的信息量，还提取了行为识别中的关键时空信息；接着以运动历史图像作为输入，搭建了深度卷积神经网络，然后利用随机梯度下降法(Stochastic gradient descent,SGD)与Dropout策略训练网络，最终实现行为类别分类。本发明能有效的应用于在线实时行为识别。

技术领域

本发明涉及行为识别领域，尤其涉及一种基于运动历史图像与卷积神经网络的行为识别方法。

背景技术

基于计算机视觉的人体行为识别技术在机器人、视频监控、虚拟现实等领域应用广泛，解决人体行为识别问题的方法主要分为传统算法与基于深度学习的识别算法。传统算法采用“特征提取与表达+特征匹配”的方式识别人体行为，基于深度学习的识别算法则通过神经网络学习对象特性，直接输出最终识别结果。目前大量研究聚焦于准确率的提升，忽略了算法的实时性，而在各类实际应用中，算法速度不容忽视。

传统算法通过分析人体行为固有特性，人工设计特征，包括运动信息特征、时空兴趣点以及几何特征等。其中，时空兴趣点对于光照变化、背景差异和环境噪声有着很强的鲁棒性，特征表达更加充分，识别率最高，常用的时空兴趣点有3D-SIFT、HOG3D以及ESURF等。但该类特征提取复杂、匹配耗时，在实际应用中很难满足实时性要求。相对地，运动历史图像、运动能量图像等仅需通过图像差分、阈值化等简单的处理方法即可实现几何特征的提取，但常规的利用Hu矩这类描述子进行特征表达的方式往往会造成特征维度的压缩，虽然特征提取的速度得到了提升，但因其时空信息的丢失，识别率将大大降低。

近年来，深度学习方法兴起，通过神经网络获取的特征，对行为特征有着更加抽象、全面的描述，而卷积神经网络因其卷积层共享权值特性，可有效减少待训练参数量，应用最为广泛。有的方法使用三维卷积神经网络3DCNN，将视频序列作为网络的输入，成功提取了行为序列的时空信息。也有的方法使用two-stream网络分别获取时间信息与空间信息，再融合为行为特征描述子。这些方法的前提是输入视频序列需覆盖整个行为序列，动作持续时间的增加将加深网络结构，降低实时性。因此，如何解决神经网络的有效且高效输入是深度学习应用于人体行为识别的关键。

发明内容

本发明要解决的技术问题在于针对现有技术中使用传统特征描述子作为特征表达方式进行行为识别的精度较低，以及直接以原始视频作为神经网络的输入会带来算法速度下降的缺陷，提供一种基于运动历史图像与卷积神经网络的行为识别方法，本发明采用基于调整后的AlexNet网络的深度学习方法来进行行为识别以提高算法的精度，以运动历史图像作为神经网络的输入来提高算法的速度。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于运动历史图像与卷积神经网络的行为识别方法，包括以下步骤：

S1、获取输入的原始视频图像，通过基于运动历史图像的行为序列特征提取方法对其进行处理：先通过帧差算法提取原始视频图像中的前景，再由一段时间内的前景生成全局运动历史图像，采用最小外界矩形原则对全局运动历史图像进行运动区域的分割，并对其进行归一化处理，得到局部运动历史图像；

S2、采用基于深度卷积神经网络的方法对局部运动历史图像进行行为识别：将得到的局部运动历史图像划分为训练集和测试集，搭建去除LRN层的AlexNet神经网络模型，将训练集和测试集带入该神经网络模型中，通过随机梯度下降法进行神经网络模型的权值参数的迭代更新，并通过Dropout策略抑制过拟合，得到行为类别分类器；最终通过该行为类别分类器输出行为识别结果。

进一步地，本发明的步骤S1中的基于运动历史图像的行为序列特征提取方法的具体实现为：