[发明专利]基于沙漏卷积的层次化动态建模的视频动作分类方法及应用

说明书

本发明公开了一种基于沙漏卷积的层次化动态建模的视频动作分类方法及应用，该方法包括：1、视频数据提取与预处理；2、构建层次化沙漏卷积网络，包括：帧级动态信息捕捉网络，片段级动态信息捕捉网络以及分类网络；3、构建交叉熵损失函数，并对所述层次化沙漏卷积网络进行训练，得到视频动作分类器，用于实现视频动作分类。本发明提出的沙漏卷积能实现对视频动态的更好建模，同时基于沙漏卷积的帧级动态信息捕捉网络以及片段级动态信息捕捉网络，能从多个层级层次化建模视频动态信息，从而能实现更高精度的人物动作视频识别。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于沙漏卷积的层次化动态建模的视频动作分类方法及应用。

背景技术

视频中视觉线索(如语义、物体)的尺度、位置和视角模式都会随着时间轴的变化而演变，通过聚合这些动态变化信息而获得的具有判别性的运动模式对视频内容的分类至关重要。为了捕捉这些特征，目前主要存在以下方法：

将光流信息用作外部信息，可以加强对视频中动作的动态建模。其中最具代表性的工作就是双流网络，它以光流的形式表示运动，并将静态(RGB)和动态(光流)两种信息分别送入两个独立的卷积神经网络，然后融合两个流的分类结果得到最终的视频分类结果。虽然双流网络在学习动态特征方面是有效的，但是光流信息的获得以及增加的一个额外的卷积神经网络分支使得双流网络计算负担很重。

随后人们发现使用一维的时间卷积，通过在相邻时间的同一空间位置进行时间聚合可以很好地建模动态信息。具体来说，在网络中以级联或平行方式结合一维时间卷积与二维空间卷积，使得二维卷积神经网络具有了时间感知能力，因此这种范式在用于视频分类任务的网络设计时广受人们青睐。然而，如果没有对时间维度进行特别考虑，基于这种范式设计的网络其时间建模能力是有限的。同时，相邻时间帧之间的可能存在的较大视觉位移使得刚性的一维时间卷积不能很好地捕捉运动模式。例如，拿起一个乒乓球并把球放在桌子上的动作包括手和网球等核心对象的交互作用。随着时间的流逝，单个帧的空间语义逐渐从拿起球变为把球举到空中和把球放在桌子上。在这个过程中，手和网球的尺度、位置和模式都发生了变化。而刚性的一维时间卷积只考虑了同一空间位置在不同时间的动态变化，没有考虑到大的变化，因此当目标对象在相邻的帧中移出感受野时，就很容易失去该对象具有的核心视觉线索。

注意力策略，一种用时空变化之间的相似性来表示运动模式的方法，也能有效地建模动态变化信息。但是由于成对的相似性计算效率很低，所以它与基于光学流的方法相同，有着很重的计算负担。

综上所述，目前应用到视频分类上的技术手段存在诸多缺点和弊端，从而导致视频分类效果差，精度低。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于沙漏卷积的层次化动态建模的视频动作分类方法及应用，以期能利用沙漏卷积实现对视频动态的更好建模，同时利用基于沙漏卷积的帧级动态信息捕捉网络以及片段级动态信息捕捉网络，从多个层级层次化建模视频动态信息，从而能提高人物动作视频识别的精度。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于沙漏卷积的层次化动态建模的视频动作分类方法的特点是按如下步骤进行：

步骤1、视频数据提取与预处理：

从人物动作视频V中按照固定帧数均匀采样T帧关键帧图像，记为F＝[F₁,F₂,…,F_t,…,F_T]，F_t表示第t个关键帧，T表示关键帧数；

采样第t个关键帧F_t在人物动作视频V中的前后各两个连续帧，并将F_t与其前后各两个连续帧表示为第t个片段表示F_t的前二帧，表示F_t的前一帧，表示F_t的后一帧，表示F_t的后二帧；