[发明专利]一种基于显著信息的视频分类方法

摘要

为了解决3D视频分类网络的特征包含较多冗余信息的问题，本发明提出了一种基于显著信息的视频分类方法。主要思想在于组合不同大小卷积核，搭建多个显著信息提取模块，获得多尺度、具有代表性的显著信息；此外，为了解决网络中传统池化单元对视频信息造成的大量损失，设计了一种卷积池化相结合的双路池化单元对显著信息提取模块的输出进行针对性池化操作；最终，为了加快网络的收敛速度，优化网络收敛路径，实现端到端的训练，本发明设计了一种全新的损失函数，最终实现更精准的视频分类。该方法可以产生具有精确表征能力的视频特征，其在动作识别和场景识别场景中进行了实验，均达到优异的效果，充分证明方法具有较强的泛化能力。

主权项

1.一种基于显著信息的短视频分类方法，该方法基于伪3D残差网络P3D，其特征在于该方法包括以下步骤：步骤1：随机提取视频中的若干连续帧，送入伪3D残差网络P3D；步骤2：所述连续帧依次经过P3D的前三个残差块，得到输出视频特征；步骤3：所述前三个残差块的输出分别送入不同的三个显著信息提取模块；步骤4：搭建卷积池化相结合的双路池化模块，对每个显著信息提取模块的输出进行针对性池化；步骤5：对三个显著信息提取模块的输出进行多尺度融合，得到唯一的显著特征图；步骤6：将所述唯一的显著特征图与P3D第四个残差块的输出按位相乘；步骤7：将步骤8输出的视频特征送入全连接层；步骤8：得到视频分类的预测结果，利用损失函数计算预测结果与标签的误差；步骤9：基于损失函数进行网络优化，通过梯度下降与反向传播不断迭代以更新网络参数，使网络达到最优性能；步骤8中的所述损失函数为：其中，J₁是多分类交叉熵损失函数，J₂是显著性部分损失函数，J₃是池化部分损失函数，J₄是权重衰减部分，代表M组样本数据，其中X_i为视频样本，l_i为视频样本标签，y_i代表网络输出的预测值，t为所属类别，其取值范围为t∈[0,C‑1]，C为视频类别个数，Θ代表模型参数，S_final(·)为显著特征图经多尺度融合后的唯一显著特征图，双路池化模块第二支路的输出上采样后得到P_up(X_i；Θ)，S(X_i；Θ)为显著特征提取模块的输出，λ，μ，γ均为权衡因子。