[发明专利]一种关键视频帧抽取方法、装置和存储介质

说明书

本发明提出了一种视频关键帧抽取方法、装置和存储介质，用以减少视频处理过程中的冗余信息，提高视频处理速度。所述视频关键帧抽取方法，包括：从待分析视频中提取I帧；针对提取的每一I帧，利用深度哈希网络确定其对应的深度哈希码，所述深度哈希网络为利用预先生成的图像样本对进行训练得到的；根据各I帧对应的深度哈希码，分别确定两两I帧深度哈希码之间的汉明距离；根据两两I帧深度哈希码之间的汉明距离，对提取的I帧进行聚类；针对每一聚类，分别确定该聚类中包含的每一I帧的信息熵；从每一聚类中，提取信息熵最大的I帧组成所述待分析视频的关键帧。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种关键视频帧抽取方法、装置和存储介质。

背景技术

在基于内容的视频标引和检索系统中，通常需要对大量视频进行处理。而视频是由连续的视频帧构成的，一段相邻的视频帧往往具有相同的语义信息，这些帧对于分析视频内容来说是冗余的，如果逐帧处理会带来巨大的计算量和噪声。通过分析确定视频中最具代表性的帧，从低层的感知描述到高层的语义描述，即可获得视频在每个含义层上的要点。因此，抽取视频关键帧是视频分析的关键步骤之一。

传统的视频关键帧抽取技术通常采用提取视频的I帧，I帧又称帧内编码帧，是一种自带全部信息的独立帧，无需参考其他图像便可独立进行解码，可以简单理解为一张静态画面。然而，如果视频中发生的动作形变较小，同样会发生I帧相近的现象，这种基于帧间形变的抽取技术有时很难抽取到体现视频内容差异性的视频关键帧。

由此可见，如何抽取关键视频帧，减少视频处理过程中的冗余信息，提高视频处理速度成为现有技术中亟待解决的技术问题之一。

发明内容

本发明要解决的技术问题是减少视频处理过程中的冗余信息，提高视频处理速度，提供一种视频关键帧抽取方法、装置和存储介质。

本发明采用的技术方案是提供一种视频关键帧抽取方法，所述视频关键帧抽取方法，包括：

从待分析视频中提取I帧；

针对提取的每一I帧，利用深度哈希网络确定其对应的深度哈希码，所述深度哈希网络为利用预先生成的图像样本对进行训练得到的；

根据各I帧对应的深度哈希码，分别确定两两I帧深度哈希码之间的汉明距离；

根据两两I帧之间深度哈希码的汉明距离，对提取的I帧进行聚类；

针对每一聚类，分别确定该聚类中包含的每一I帧的信息熵；

从每一聚类中，提取信息熵最大的I帧组成所述待分析视频的关键帧。

在一种可能的实施方式中，按照以下方法生成所述图像样本对：

获取图像样本，所述图像样本包括若干类别，每一类别包括若干图像；

针对每一类别包含的每一图像进行图像变换操作得到其对应的转换图像；

针对每一图像，确定该图像与其对应的任一转换图像组成图像正样本对；

确定该图像与其他类别中的任一图像或者该图像与其他类别图像对应的任一转换图像组成负图像样本对。

在一种可能的实施方式中，所述深度哈希网络包括特征学习网络和哈希函数学习网络，所述特征学习网络包括3个卷积层和1个全连接层，其中，每一卷积层后连接最大值池化层和Relu激活函数，第二个最大池池化层后连接局部响应归一化层；所述深度哈希网络利用L2范数作为正则项。

在一种可能的实施方式中，利用预先生成的图像样本对按照以下流程进行训练得到所述深度哈希网络：

针对提取的每一I帧，将所述图像样本对输入所述特征学习网络中获得图像特征；