[发明专利]一种基于3D卷积神经网络的行为识别方法

说明书

本发明提出了一种基于3D卷积神经网络的行为识别方法，包括以下步骤：首先基于原始视频，提取光流帧；然后对原始视频进行目标检测以获取人体裁剪帧；最后将人体裁剪帧、光流帧和原始视频分别输入特征融合网络模型的第一层、第二层和第三层；第二层接收第一层输出的卷积数据；第三层接收第二层的卷积数据；由第三层输出分类特征数据。本发明针对复杂环境中较难提取人体行为的时空特征问题，提出了一种基于3D卷积神经网络的行为识别方法。通过特征融合网络模型融合多特征，提高时空特征的表征能力和泛化能力，消除或减少噪声的影响，提高了人体行为识别率。

技术领域

本发明属于机器学习和机器视觉领域，尤其涉及一种基于3D卷积神经网络的行为识别方法。

背景技术

人体行为识别是计算机视觉研究的一个热点，在视频监控、智能家居、智能安防、人机交互，服务机器人、虚拟现实等方面有着广泛的应用。人体行为识别是从未知的视频或者图像序列中自动识别人体动作行为，其中可能包含几十甚至几百帧的动作序列图片。人体行为识别不仅要提取视频序列中，人体形态的空间位置变化信息，还要提取人体的动作时序变化信息。传统基于视觉的行为识别，一般需要人工设计特征提取器，这些方法难以很好地获取动作的上下文信息，并且存在较多的问题，提取的特征对训练数据集有较强的依赖性，泛化能力差，另外人工特征设计需要很强的先验知识。此外，提取人体行为识别中时空特征和消减人体运动场景中的光照、复杂背景、遮挡物等噪声的影响一直是研究的热点和难点问题。

发明内容

本发明的目的在于提供一种基于3D卷积神经网络的行为识别方法，以解决现有技术中存在的问题，其包含人体裁剪帧、光流帧和原始视频三个输入流，通过特征融合网络模型融合以上三个输入流特征对动作行为进行表征，利用多特征的优势消除噪声的影响。为实现上述目的，本发明所采用的技术方案为：

一种基于3D卷积神经网络的行为识别方法，包括以下步骤：

步骤S1:基于原始视频，提取光流帧；

步骤S2:对原始视频进行目标检测以获取人体裁剪帧；

步骤S3:将所述人体裁剪帧、光流帧和原始视频分别输入特征融合网络模型的第一层、第二层和第三层；所述第二层接收所述第一层输出的卷积数据；所述第三层接收所述第二层的卷积数据；

步骤S4:所述第三层输出分类特征数据。

优选地，所述第一层包括一行为特征提取卷积网络；所述行为特征提取卷积网络包括依次通信的多个卷积层；作为输出端的一所述卷积层与所述第二层通信。

优选地，所述为特征提取卷积网络包括依次通信的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层；所述第一卷积层包括一3D卷积层和一3D池化层；所述3D池化层接收所述3D卷积层的输出特征数据。

优选地，所述第三卷积层包括一3D卷积层。

优选地，所述第一层还包括依次通信的2个全连接层和一分类层；所述其中一个全连接层接收作为输出端的一所述卷积层的特征数据。

优选地，所述第二层、第三层的结构与所述第一层的结构相同。

优选地，在步骤S2中，采用SSD网络进行目标检测。

优选地，步骤S2具体为：所述原始视频输入至所述SSD网络，基于原始视频中的动作序列图片，SSD网络获取人体位置框，之后SSD网络保持所述人体位置框内的像素不变，平均化其余部分的像素值。

优选地，在步骤S2中，在采用SSD网络之前，进一步包括采用训练数据集，对SSD网络进行训练。

与现有技术相比，本发明的优点为：