[发明专利]一种基于渐进式生成对抗网络的视频摘要方法

说明书

本发明提供一种基于渐进式生成对抗网络的视频摘要方法，涉及信息处理技术领域。该方法首先按照一定帧率将视频切分成图片的集合，将视频数据转化为图片数据；然后建立渐进式生成对抗网络模型，逐渐增加模型的网络层，从低分辨率训练到高分辨率，提取关键帧；同时，选择精度模式或者收敛模式，以决定模型以何种方式在某一分辨率上停止训练；最终，给出视频所有帧的标签，以标记出视频关键帧所在；利用该标签可提取关键帧，合成摘要短视频。本发明提供的视频摘要方法，采用一种无监督训练方式，不需要对视频做出关键帧的人工标记，同时渐进式的训练，可充分利用局部信息，降低了训练的复杂性，增加了训练结果的稳定性。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种基于渐进式生成对抗网络的视频摘要方法。

背景技术

随着视频手持拍摄设备技术进步和成本降低以及视频社交平台的崛起，视频在社交、监控、广告传媒等多个领域应用愈加深入，视频数据量也在急剧增加。与文字、图片、语音一样，视频是重要的信息媒介形式，特别是视觉信息。所不同的是，视频，尤其是未经剪辑(或者其他处理方式)，比文字和图片更能生动客观的记录事实。而开发能够从大量视频数据中提取有效事实的计算机视觉技术就显得格外重要。视频摘要作为视频分析的上游任务，对于视频中大量重复或高度相似的信息，能够有针对性地去除。视频摘要把视频浓缩成相对紧凑的短视频，以便进一步对视频分析处理。

视频是帧的有序排列，视频摘要可视为关键帧的选择问题。传统视频摘要，使用相似度计算和机器学习算法，把视频单纯地看作图片数据的集合，分析集合中元素的数值差异，从而提取具有多样性的最小帧集。这种方法时间快、成本低，但准确率不高，同时也忽略了视频的图像特性，无法利用视频的视觉特征。

随着深度学习的流行，使用基于深度学习的计算机视觉技术研究视频摘要已在国内外展开，并取得一些成果。计算机视觉对图像的分析研究已相当成熟，对视频的分析却是方兴未艾。现有技术当中，首先，从单张图像到千万张图片合成的视频，意味着数据量激增，这对深度学习模型往往造成训练压力，过多的重复信息、过高的内存要求和过长的训练时间会严重降低视频摘要的效率和速度。其次，对于视频数据来说，现有技术往往以高分辨率方式读取并训练，以学习到更准确的特征，但训练代价太大，而单纯地降低分辨率训练，又会因图像模糊，模型学习不到视频的特征。考虑到这两点，如何有效地设计深度学习模型，平衡训练成本和准确率，就成为了视频摘要的一个重大挑战。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于渐进式生成对抗网络的视频摘要方法，轻量、迅速地将视频摘要成短视频。

为解决上述技术问题，本发明所采取的技术方案是：一种基于渐进式生成对抗网络的视频摘要方法，包括以下步骤：

步骤1、对待摘要视频按照固定频率进行帧采样，把视频切分为一帧一帧的图片的集合；

步骤2、搭建渐进式生成对抗网络模型，并将步骤1处理后的视频输入该模型，对视频中所有帧通过标签进行标注，提取视频中的关键帧；

所述渐进式生成对抗网络模型是一个多层生成对抗网络的渐进演变，集训练与测试于一体，从低分辨率开始学习所有帧，使用生成对抗网络的生成器和鉴别器相互对抗来提取关键帧；关键帧提取过程中，生成器选择帧，形成关键帧集，判别器则对关键帧集进行筛选，使留下的关键帧信息与原视频中的信息表达相似；随着训练的进行，向生成器和鉴别器的网络中不断添加新的层，增大图片分辨率，使模型逐渐利用更高分辨率的细节特征提取关键帧；

步骤3、选择训练模式为精度模式或者收敛模式；

所述精度模式指定模型停止训练时的图片分辨率大小，所述收敛模式让模型在多层不同分辨率训练的关键帧提取结果趋于一致时停止训练；

步骤4、输出视频所有帧的标签，以标记出视频中所有关键帧；该标签包括视频的所有帧是否为关键帧的分类结果；