[发明专利]基于沙漏卷积的层次化动态建模的视频动作分类方法及应用

权利要求书

1.一种基于沙漏卷积的层次化动态建模的视频动作分类方法，其特征是按如下步骤进行：

步骤1、视频数据提取与预处理：

从人物动作视频V中按照固定帧数均匀采样T帧关键帧图像，记为F＝[F₁,F₂,…,F_t,…,F_T]，F_t表示第t个关键帧，T表示关键帧数；

采样第t个关键帧F_t在人物动作视频V中的前后各两个连续帧，并将F_t与其前后各两个连续帧表示为第t个片段表示F_t的前二帧，表示F_t的前一帧，表示F_t的后一帧，表示F_t的后二帧；

将第t个片段C_t中的每帧分辨率进行缩放后再从每帧中取出一个分辨率为H×W的图像块后进行归一化预处理，得到第t个输入视频数据张量从而得到人物动作视频V的输入视频数据张量C'＝[C'₁,C'₂,…,C'_t,…,C'_T]，其中，H，W分别代表C'_t的高度与宽度，D代表C'_t的通道数；

步骤2、构建层次化沙漏卷积网络，包括：帧级动态信息捕捉网络，片段级动态信息捕捉网络以及分类网络；

步骤2.1、构建沙漏卷积：

所述沙漏卷积是由一组核大小为(p·|i|+1,p·|i|+1)的空间卷积以及一个核大小为K的时间卷积组成，其中，p为参数，i为时间偏移；

所述沙漏卷积对任一维度为的张量X进行处理，得到输出特征HgC(X)，T'表示时间维度大小，H'表示高度，W'表示宽度，D'表示通道数，其中，输出特征HgC(X)的第t个特征HgC(X)_t是利用式(1)得到：

式(1)中，X_t+i为张量X在T'时间维度上的第t+i个特输入特征，α_i为时间卷积层的第i个参数，f为空间卷积函数，W_{p·|i|+1,p·|i|+1}为空间卷积层的参数；t∈[0,T'-1]；

步骤2.2、所述帧级动态信息捕捉网络由ResNet50网络的第一卷积块与帧级动态信息捕捉模块组成：

ResNet50网络的第一卷积块为一个卷积核为a×a的空间卷积；

帧级动态信息捕捉模块由一个降采样层、一个沙漏卷积层、一个空间卷积层以及上采样层组成：

所述降采样层为一个核大小为b×b的空间平均池化层；所述沙漏卷积层由两个串联的沙漏卷积组成；所述空间卷积层为一个卷积核为a×a的空间卷积；所述上采样层用于将一个像素复制为四个相邻像素的上采样操作；

将所述人物动作视频V的关键帧图像F＝[F₁,F₂,…,F_t,…,F_T]输入到ResNet50网络的第一卷积块中进行处，并得到输出特征F^S；

将人物动作视频V的输入视频数据张量C'＝[C'₁,C'₂,…,C'_t,…,C'_T]输入到帧级动态信息捕捉模块中，并依次经过降采样层，沙漏卷积层，空间卷积层以及上采样层的处理后，得到输出特征F^fm；

将F^S与F^fm相加后得到帧级动态信息捕捉网络的输出M^fm；

步骤2.3、所述片段级动态信息捕捉网络由串联的四个卷积块组成，卷积块由串联的重复单元构成，每个卷积块包含的重复单元数量不同；

所述重复单元由残差块和片段级动态信息捕捉模块组成；所述残差块中包含两个卷积核为1×1的卷积层和一个卷积核3×3的卷积层；所述片段级动态信息捕捉模块包含两个1×1×1的卷积层、一个沙漏卷积、一个全局平均池化层以及一个Sigmoid激活函数层；

将M^fm输入到片段级动态信息捕捉网络的第一个卷积块中第一个重复单元的第一个1×1的卷积层后，得到特征Y，将Y输入到片段级动态信息捕捉模块中，并依次经过第一个1×1×1的卷积层，一个沙漏卷积层，一个全局平均池化层，第二个1×1×1的卷积层以及Sigmoid激活函数层的处理后，获得特征A，将A与Y相乘后再输入第一个卷积块中第一个重复单元的残差块，并依次经过3×3的卷积层和第二个1×1的卷积层的处理后，得到第一个卷积块的第一个重复单元的输出Z’；

Z’再输入第一个卷积块中第二个重复单元中，并经过同样的处理后得到的结果再输入下一个重复单元，从而经过第一个卷积块中所有重复单元的处理后的结果，输入到下一个卷积块中进行处理，最终由第四个卷积块的最后一个复单元得到层次化沙漏卷积网络的输出Z；

步骤3、所述分类网络由全局平均池化层和全连接层串联而成；并将Z输入所述分类网络中进行处理后，得到最终动作类别；

步骤4、构建交叉熵损失函数作为所述层次化沙漏卷积网络的损失函数L，并利用SGD优化器对所述层次化沙漏卷积网络进行训练，同时计算所述损失函数L，以调整网络参数，最终获得训练好的层次化沙漏卷积网络作为视频动作分类器，用于实现视频动作分类。