[发明专利]基于时空重要性和3D CNN的视频中行为识别方法

摘要

本发明公开一种基于时空重要性和3D CNN的视频中行为识别方法，本发明将空域重要位置选择功能、时域重要片段选择功能和3D CNN的特征提取和分类功能相结合，通过计算视频的空域位置重要性和时域片段重要性，并利用重要性对空域位置特征和片段类别分值进行选择，突出对行为识别有用的时空信息在行为识别中的贡献，抑制背景或其他无关信息的影响，从而提高行为识别性能。

主权项

1.基于时空重要性和3D CNN的视频中行为识别方法，其特征在于：包括以下步骤：S01)、构建一个行为识别模型，用于判别输入视频中正在发生的行为类别，行为识别模型包括视频分割模块、3D CNN模块、空域重要位置选择模块、时域重要片段选择模块和类别判定模块，视频分割模块将输入的行为视频在时域进行分割得到多个视频片段；3D CNN对分割后的每个视频片段进行特征提取与分类，从其中一个卷积层输出片段特征图，从softmax层输出片段的类别分值；空域重要位置选择模块根据每个片段特征图计算其空域位置的重要性，再利用位置重要性对特征图中各个位置的局部特征进行空域选择，得到片段特征；时域重要片段选择模块根据视频每个片段特征计算其重要性，再依据片段重要性对视频各个片段的类别分值进行时域选择，得到视频的类别分值；类别判定模块将分值最大的类别判定为当前视频中行为的类别；S02)、利用大量已知类别的行为视频作为样本构建训练数据集，并将其中每个视频的空域尺寸缩放到固定大小；S03)、基于步骤S02构建的训练数据集，采用分阶段的方式对步骤S01中的行为识别模型进行训练，使其具有自动选择时域重要片段和空域重要位置的信息进行行为识别的能力；S04)、将待识别的行为视频的空域尺寸缩放到固定大小，再输入到训练后的行为识别模型，模型输出视频中行为的类别。