[发明专利]一种基于高阶建模的视频行为识别方法

权利要求书

1.一种基于高阶建模的视频行为识别方法，其特征在于包括：

将预训练的2D卷积神经网络作为骨干模型，在2D卷积神经网络的不同阶段插入相关性模块，对该网络末端进行迭代矩阵平方根归一化的协方差池化操作获得高阶相关性网络；

获取视频数据集和标签，将视频数据集分为训练集和测试集，对视频数据集进行抽帧并保存；

将所有的帧输入至高阶相关性网络中；

采用训练集训练高阶相关性网络，在每次迭代中更新网络参数，每次迭代中对帧进行训练和验证，并根据最优验证集精度保存高阶相关性网络的最优权重；

使用最优权重初始化高阶相关性网络，在测试集上对该网络的准确率进行评估，将测试集数据输入该网络中获得测试结果，将测试结果与标签数据进行对比，统计正确和错误的个数从而计算该网络在测试集上的准确率。

2.根据权利要求1所述的视频行为识别方法，其特征在于：使用2D卷积神经网络中的ResNet50作为整个网络的骨干模型。

3.根据权利要求2所述的视频行为识别方法，其特征在于：在高阶相关性网络的res4和res5后插入相关性模块，在res4后直接插入相关性模块，在res5后先进行降维操作再插入相关性模块。

4.根据权利要求3所述的视频行为识别方法，其特征在于：所述相关性模块计算两个相邻帧的固定滑动窗口中特征的点积，通过点积计算近似获得图像高阶统计信息；

设两帧为X_l-1和X_l，每一帧用三维张量C×H×W表示，其中C是通道数，H×W是空间分辨率，在帧X_l中给定一个特征块计算该特征块与帧X_l-1中另一个特征块的相似度，其中(i,j)是特征块的空间位置，将特征块的大小减少到单个像素，则相关性模块计算结果如下：

其中用于归一化，W_C是引入的一个权重向量，(i',j')通常限制在(i,j)的K×K邻域内，K是特征块匹配的最大位移。

5.根据权利要求3所述的视频行为识别方法，其特征在于：对该网络末端进行迭代矩阵平方根归一化的协方差池化操作时：先执行相关协方差池化操作：

其中Cov_i,i＝{1,2,...,L}代表相邻两帧之间进行协方差操作后的结果，L代表共有L帧，CP_L(·)代表由相关性模块处理后的协方差池化，即为：

使用迭代矩阵平方根归一化方法，该方法包括：将计算出的协方差矩阵除以其迹，将矩阵方程重复固定次数，计算近似协方差矩阵平方根，再乘以协方差矩阵平方根迹。