[发明专利]一种基于深度学习的视频分类方法以及设备

说明书

本发明公开了一种基于深度学习的视频分类方法以及设备。其中，所述方法包括：获取视频的数据集及其类别标签，和将该获取的视频均分N段，训练阶段每段视频随机选择M帧，将视频帧堆叠为多通道图像，和通过卷积神经网络，提取该分为N段后的视频的视频空间加权特征，和通过卷积神经网络，提取该分为N段后的视频的视频时间加权特征，和获得该分为N段后的视频的视频多尺度特征，和融合该N段视频特征计算预测得分，得到最终视频分类，和存储该训练好的视频分类模型，应用该训练好的视频分类模型，对测试视频进行分类。通过上述方式，能够实现提高视频特征提取的效果和准确度。

技术领域

本发明涉及视频技术领域，尤其涉及一种基于深度学习的视频分类方法以及设备。

背景技术

随着高清视频设备等硬件器材的不断发展，基于视频分类技术的人工智能广泛应用在视频兴趣推荐、视频安防、智能家居等方面，应用场景极其广阔。对于视频提供平台来说，对视频进行分类，当用户播放某个视频后，可以为用户推荐同类视频，提高用户对视频平台的满意度。对安防公司来说，对视频中的异常行为进行分类，采取相应的安全措施，比如可以监控银行ATM(Automatic Teller Machine，自动取款机)取款机的异常取款，及时发出警报。

传统的视频分类方法主要有两个过程：人工提取视频特征和视频理解。人工提取视频特征主要是基于视频内容主体的几何形状或轮廓的基础，在一些简单的特定场景中的精确度尚可接受，然而在实际应用中，非常容易受光照条件各异、视角多样性、背景复杂、类内变化大等诸多因素的影响导致视频特征提取效果不佳，准确度一般。

近几年随着深度神经网络在图像领域取得重大突破，将其应用在视频分类领域取得了不错的效果。利用CNN(Convolutional Neural Networks，卷积神经网络)的卷积操作代替人工提取特征的过程，通过训练网络的参数得到最优的特征表达，其分类效果一般要比传统方法好。深度学习不仅具有优良的泛用性，同时避免了复杂的手工特征提取过程，用机器的特征学习代替了基于人类先验经验的特征提取，获得了比手工特征分类结果更好的准确率。

通常视频帧内的不同区域和视频序列中的不同位置的帧包含的信息量不同，对分类结果起到的重要性则不同；通过对视频帧的空间特征加权可以使网络能够关注每帧的显著性区域，对不同帧的特征图加权相当于为视频不同位置的帧加权，即为视频时间特征加权；空间加权和时间加权使得网络能够有区别性的对待不同的帧和帧区域，更好的表示视频的特征，从而提高视频分类的精确度。

卷积神经网络的卷积层或池化层的核维度往往为两维，在网络学习过程中通常只能学习到特征图的空间特征，而不能学习到通道之间的特征；采用三维卷积核或池化核，可以在学习特征图空间特征的同时学习到视频的时间特征。

全局池化操作主要应用在深度学习提取的最后一层特征图上，直接将特征图大小缩减至一维，可能损失大量信息。因此，采用多尺度多方式的池化核，将结果进行拼接后再送入全连接层能够尽可能保留更多的信息。

通常视频的不同位置包含的信息量不同，视频的重要信息往往出现在中间区域，因此为不同时间段的视频设置不同的权重，使得每段视频具有区分性，融合各段加权后的得分获得最终的预测分数。

但是，发明人发现现有技术中至少存在如下问题：

现有的视频分类方案中的人工提取视频特征的过程主要是基于视频内容主体的几何形状或轮廓的基础，在某些简单的特定场景中的精确度尚可接受，然而在实际应用中，非常容易受光照条件各异、视角多样性、背景复杂、类内变化大等诸多因素的影响导致视频特征提取效果不佳，准确度一般。

发明内容

有鉴于此，本发明的目的在于提出一种基于深度学习的视频分类方法以及设备，能够实现提高视频特征提取的效果和准确度。

根据本发明的一个方面，提供一种基于深度学习的视频分类方法，包括：

获取视频的数据集及其类别标签；