[发明专利]基于时空重要性和3D CNN的视频中行为识别方法

说明书

本发明公开一种基于时空重要性和3D CNN的视频中行为识别方法，本发明将空域重要位置选择功能、时域重要片段选择功能和3D CNN的特征提取和分类功能相结合，通过计算视频的空域位置重要性和时域片段重要性，并利用重要性对空域位置特征和片段类别分值进行选择，突出对行为识别有用的时空信息在行为识别中的贡献，抑制背景或其他无关信息的影响，从而提高行为识别性能。

技术领域

本发明涉及一种视频中行为识别方法，尤其涉及一种基于时空重要性和3D CNN的视频中行为识别方法，其中3D CNN指三维卷积神经网络，属于深度学习和视频识别技术领域。

背景技术

视频是一种重要的信息载体，人们常常需要通过观察、识别视频中人体行为以达到特定的目的。然而，传统的依靠人眼观察、人脑处理的人体行为识别模式已经不能满足海量视频数据处理的需求。随着计算机处理数据能力的增强，用计算机模仿人类大脑处理视频并识别其中发生的行为已逐渐变为现实，该项技术在视频监控、虚拟现实、机器人等领域具有广阔的应用前景。

然而，由于行为本身复杂的动特性以及视频拍摄环境的不可控性，利用计算机识别视频中的人体行为并非是一项简单的任务。近年来，深度学习的兴起将行为识别向前推进了一大步。在大规模训练集和GPU支持下，深度学习通过卷积神经网络(CNN)的卷积层特征提取功能、全连接层分类功能以及随机梯度学习算法，全面地挖掘目标多层次特征并进行分类，实现由像素到类别的“end-to-end”的识别模式。虽然在某些图像分类任务中深度学习的识别能力甚至超过人类，但深度学习用于行为识别远没有图像分类成功，其根本原因在于视频是由多帧图像按时间顺序堆叠构成，具有复杂的时空特性，如何有效提取视频整体时空信息是行为识别的关键。

时域片段网络(TSN)是一种典型的获取视频整体时空信息进行行为识别的方法，该方法先将视频在时域分割成多个片段，再利用CNN提取每个片段特征并计算其类别分值，最后通过平均法获取视频类别分值。这种方法平等地对待视频所有时空位置的信息，然而，视频中除了行为信息外还存在大量背景或干扰信息，它们对行为识别的重要性是不同的。首先，人们在识别视频中的行为时，并不是均匀地观察整个空域场景，而是习惯地将目光集中在行为发生的区域，这意味着视频中不同空域位置对行为识别的贡献不同。其次，对于实际场景拍摄的视频，不是所有时间段内都有感兴趣的行为发生，尤其是没有剪辑的视频中存在大量和感兴趣行为无关的帧或片段，它们包含对行为识别有用的信息很少。因此，根据视频不同时空位置对行为识别的重要性，有选择地提取时空信息更有利于改善行为识别性能。

发明内容

本发明的目的在于提供一种基于时空重要性和3D CNN的视频中行为识别方法，将空域重要位置选择、时域重要片段选择和3D CNN特征提取及分类功能相结合，以选择时域、空域重要信息进行行为识别，抑制无关信息的影响，提高行为识别性能。

为了解决所述技术问题，本发明采用的技术方案是：基于时空重要性和3D CNN的视频中行为识别方法，包括以下步骤：

S01)、构建一个行为识别模型，用于判别输入视频中正在发生的行为类别，行为识别模型包括视频分割模块、3D CNN模块、空域重要位置选择模块、时域重要片段选择模块和类别判定模块，视频分割模块将输入的行为视频在时域进行分割得到多个视频片段；3DCNN对分割后的每个视频片段进行特征提取与分类，从其中一个卷积层输出片段特征图，从softmax层输出片段的类别分值；空域重要位置选择模块根据每个片段特征图计算其空域位置的重要性，再利用位置重要性对特征图中各个位置的局部特征进行空域选择，得到片段特征；时域重要片段选择模块根据视频每个片段特征计算其重要性，再依据片段重要性对视频各个片段的类别分值进行时域选择，得到视频的类别分值；类别判定模块将分值最大的类别判定为当前视频中行为的类别；

S02)、利用大量已知类别的行为视频作为样本构建训练数据集，并将其中每个视频的空域尺寸缩放到固定大小；