[发明专利]一种提取视频关键帧的轻量化方法

说明书

一种提取视频关键帧的轻量化方法，包括：首先对视频帧化后的每一张RGB视频帧进行图像增强、去噪等预处理，然后设计轻量型的特征提取模型LRDN网络去提取每一帧的深度特征，接着采用递归的方式获取每一帧的重要性预测值，最后通过设定判断阈值去判断当前帧是属于关键帧还是冗余帧。本发明利用轻量化卷积神经网络——LRDN模型去提取经预处理后的视频帧的深度特征，与传统卷积神经网络相比，极大地降低了模型的参数数量和计算量，节约了计算资源；利用高效低耗的递归方式不断地预测每一张RGB视频帧的重要性，以摒弃冗余帧，保留有用帧。

技术领域

本发明涉及一种提取视频关键帧的轻量化方法。

技术背景

随着计算机的快速发展，涌现出了大量图片、音频、视频等新型数据。某种程度上视频作为图片和音频的结合体，更是成为了信息交互的主要载体。视频是渐变的且在视觉上等同于图片的密集堆叠，而并不是每一帧对于理解视频内容都是同等重要的，所以其帧与帧之间会存在有较大的信息冗余。因此，当面对大量的视频需要处理时，若能将视频的多帧信息以关键帧图像的形式呈现，将能很好地去除冗余数据产生的影响，降低模型的计算复杂度，提高模型对视频内容的识别准确性和实时性，同时极大缩短用户获取视频中有效信息的时间。

发明内容

针对上述问题，本发明提出一种提取视频关键帧的轻量化方法。

本发明首先对视频帧化后的每一张RGB视频帧进行图像增强、去噪等预处理，然后设计轻量型的特征提取模型LRDN网络去提取每一帧的深度特征，接着采用递归的方式获取每一帧的重要性预测值，最后通过设定判断阈值去判断当前帧是属于关键帧还是冗余帧。

为了实现上述目的，本发明采用以下技术方案：

一种提取视频关键帧的轻量化方法，包括如下步骤：

步骤一，视频预处理；

对输入的视频进行帧化处理，并对每一张RGB视频帧进行图像增强、去噪等预处理，以作为步骤二中LRDN模型的输入。

步骤二，特征提取；

本发明基于轻量化思想，提出了一种LRDN模型用于提取视频帧序列的空间特征。该网络的特点主要有：(1)为了提取图像中不同层次的信息，网络中采用了特征融合模块，通过将低层次与高层次的卷积核卷积得到的特征进行融合，使得网络可以提取出图像中更多的潜在信息，以此得到的图像分类结果将更为精准。(2)为了降低模型的参数数量与计算量，去除冗余信息，网络中采用了由特征压缩单元与下采样组成的过渡模块，以此提高模型的运行效率。(3)为了规避网络在训练时出现梯度消失或模型退化等问题，网络中采用了残差连接以及密集连接，通过跳跃连接，增强了网络中的特征复用，加强了特征在网络中的流通，提高了网络的可训练性。

LRDN模型以预处理后的RGB视频帧为输入，其主要通过浅层特征提取模块以及深层特征提取模块完成对输入视频帧的特征提取。

(一)浅层特征提取；

网络中输入的图像用F_in表示，通过1层标准卷积和1层改进的深度可分离卷积将图像中的浅层特征提取出来。先通过一层标准卷积把输入的特征进行收缩，其中标准卷积层所用的卷积核大小为3×3，步长为2，输出特征图个数为4k。其中超参数k为网络增长率，在密集连接网络中经过串联操作后每一层的特征通道数都是按k的数值大小增加的，这也是k被称为增长率的原因所在。该层卷积操作提取到的特征F_-1将用于下一层卷积层更进一步地提取浅层特征。F_-1可以通过式(1)得到：

F_-1＝H_B(F_in)                         (1)

其中，H_B(·)表示第一层卷积层所对应的标准卷积操作。