[发明专利]基于时间和运动增强的视频动作识别方法

说明书

本发明公开了一种基于时间和运动增强的视频动作识别方法。包括步骤：设计一个多路径时间增强模块，聚合由各种激发模块激发的多路径时间信息；设计一个长短程运动增强模块，编码相邻和非相邻视频帧之间的运动特征；将多路径时间增强模块和长短程运动增强模块依次连接在一起，形成时间和运动增强模块，并将其嵌入到一个二维卷积神经网络中；在动作识别的数据集上进行参数学习，将输入的视频进行稀疏采样并获得8帧图像，然后对它们进行预处理后导入上述步骤得到的网络进行训练；在动作识别的数据集上对上述步骤得到的算法进行评估，并输出对应的测试结果。本发明有效利用了时间特征和运动信息，大大提高了动作识别的准确性和实时性。

技术领域

本发明涉及视频动作识别技术领域，具体是一种基于时间和运动增强的视频动作识别方法。

背景技术

动作识别一直是视频理解领域的一个活跃话题。然而，如何设计一个有效的方法来捕捉运动信息是困难的。现有方法的主要可以分为两种，第一种是使用双流网络分别在视频帧和光流上提取特征。其中，外观和背景信息从视频帧中提取，而运动信息则从光流中获取。然而，计算光流是耗时的，会导致动作识别推理的低效性。此外，特征的融合是在推理阶段进行的，也会阻碍空间和时间信息的传递。另一种是使用三维卷积神经网络从视频帧中学习运动特征。然而，空间-时间建模无法捕获足够的运动信息。此外，基于三维卷积神经网络的方法需要较大的计算量，这将限制该方法在移动场景中的应用。

与三维卷积神经网络相比，二维神经网络具有轻量级和计算速度快等特点，因而在视频动作识别方法中较为常见。例如，Wang等人基于二维卷积神经网络提出一个时间分段网络(TSN)，该方法从整个视频中稀疏采样形成片段，进而依据这些片段对动作进行识别。然而，该方法缺乏对时间建模的能力，这导致对某些行为的理解错误。Lin等人提出时间移位模块(TSM)对时间进行建模，该方法沿着时间维度移动部分通道，在不增加额外计算量的情况下传递时间信息。然而，这些方法并不能充分地提取和利用其运动特征提高动作识别的准确性。因此，开发一个高效的视频动作识别方法仍然是一个挑战。

针对当前基于三维卷积神经网络的视频动作识别方法计算耗时，不利于在移动场景中使用，而基于二维卷积神经网络的方法缺乏对时间建模的能力，进而影响识别准确性的缺点，需要研究一种兼顾计算效率和识别准确率的方法对视频动作进行有效识别。

发明内容

本发明提出一种基于时间和运动增强的视频动作识别方法，该方法使用多路径时间增强模块聚合由各种激发模块激发的多路径时间信息。接着使用长短程运动增强模块来编码相邻和非相邻帧之间的运动特征。这两个模块依次连接在一起可以形成一个通用的模块，即时间和运动增强模块，该模块可以插入任意一个二维卷积神经网络中进行动作识别。本方法采用的技术方案包含以下步骤：

步骤1：设计一个多路径时间增强模块，聚合由各种激发模块激发的多路径时间信息；

步骤2：设计一个长短程运动增强模块，编码相邻和非相邻视频帧之间的运动特征；

步骤3：将多路径时间增强模块和长短程运动增强模块依次连接在一起，形成时间和运动增强模块，并将其嵌入到一个二维卷积神经网络中；

步骤4：在动作识别的数据集上进行参数学习，将输入的视频片段进行稀疏采样并获得8帧图像，然后对它们进行预处理后导入步骤3的网络进行训练；

步骤5：在动作识别的数据集上对步骤4得到的算法进行评估，并输出对应的测试结果；

本发明提出的基于时间和运动增强的视频动作识别方法，相对于传统视频动作识别方法有以下优点：

(1)本发明针对时间和运动增强的视频动作识别方法，提出使用时间和运动增强模块聚合多类型的时间特征和提取长短程运动信息对动作进行识别，提高了识别的有效性和实时性。