[发明专利]一种基于显著信息的视频分类方法

说明书

为了解决3D视频分类网络的特征包含较多冗余信息的问题，本发明提出了一种基于显著信息的视频分类方法。主要思想在于组合不同大小卷积核，搭建多个显著信息提取模块，获得多尺度、具有代表性的显著信息；此外，为了解决网络中传统池化单元对视频信息造成的大量损失，设计了一种卷积池化相结合的双路池化单元对显著信息提取模块的输出进行针对性池化操作；最终，为了加快网络的收敛速度，优化网络收敛路径，实现端到端的训练，本发明设计了一种全新的损失函数，最终实现更精准的视频分类。该方法可以产生具有精确表征能力的视频特征，其在动作识别和场景识别场景中进行了实验，均达到优异的效果，充分证明方法具有较强的泛化能力。

技术领域

本发明涉及一种视频分类技术，属于视频、多媒体信号处理技术领域。

技术背景

随着互联网技术和多媒体技术的发展，视频在人们生活中的应用场景越来越广泛，对视频的理解与分析成为一个亟待解决的重要问题。近年来在学术界，视频领域的任务也越来越丰富，如分类、识别、检测、检索等，其中视频分类作为视频任务中的重要组成部分，可以实现对视频内容的甄别，为后续的检测与检索奠定了一定的基础，因此，视频分类具有重要的社会意义和研究价值。

在生活中，视频分类可以实现多种功能，如为海量视频自动标注标签、监管肆意传播的不良视频、区分视频中的人物动作以及事件发生的场景等，极大地节省人力资源，且避免了人为造成的错误和疏忽。

短短十年间，由于基于深度神经网络的深度学习技术取得突破性进展，深度学习成为视频语义分析的主要手段。目前基于深度学习的视频分类网络大多采用两种思路：一是将视频中的空间信息和时间信息分开处理，提出了双流视频分类的网络，这种思路主要结合了帧特征和光流特征，随后又加入了LSTM(长短时记忆网络)提取帧间信息，该思路将视频看做帧的堆叠，采用分开处理帧信息与时间信息的模式；二是将视频的空间信息和时间信息融合处理，将原本应用在图像领域的2D卷积延伸至3D卷积，融合学习视频的空时特征，该思路中出现的网络被统称为3D视频分类网络，其中的经典网络有C3D、P3D等。然而在实验结果(准确率)中，目前3D视频分类网络的效果普遍不如双流法网络好，因此如何提升3D视频分类网络的能力是主要问题。

发明内容

为了利用显著信息提高视频分类的准确度，本发明在3D视频分类网络的经典网络P3D基础上，提出了一种基于显著信息的视频分类方法。具体技术方案如下：

一种基于显著信息的视频分类方法，该方法基于伪3D残差网络P3D，其特征在于该方法包括以下步骤：

步骤1：随机提取视频中的若干连续帧，送入伪3D残差网络P3D；

步骤2：所述连续帧依次经过P3D的前三个残差块，得到输出视频特征；

步骤3：所述前三个残差块的输出分别送入不同的三个显著信息提取模块；

步骤4：搭建卷积池化相结合的双路池化模块，对每个显著信息提取模块的输出进行针对性池化；

步骤5：对三个显著信息提取模块的输出进行多尺度融合，得到唯一的显著特征图；

步骤6：将所述唯一的显著特征图与P3D第四个残差块的输出按位相乘得到视频特征；

步骤7：将步骤6输出的视频特征送入全连接层；

步骤8：得到视频分类的预测结果，利用损失函数计算预测结果与标签的误差；

步骤9：基于损失函数进行网络优化，通过梯度下降与反向传播不断迭代以更新网络参数，使网络达到最优性能；

步骤8中的所述损失函数为：