[发明专利]基于支配集的视频关键帧提取方法和装置

说明书

本发明提供了一种基于支配集的视频关键帧提取方法和装置，涉及视频处理技术领域，可用于金融领域，方法包括：对视频进行图建模以得到所述视频对应的无向权重图，所述无向权重图的顶点与所述视频的视频帧一一对应，顶点之间边的边权重反应两个视频帧之间的相似程度；通过整数规划来获得所述无向权重图的最小支配集；提取所述极小支配集中顶点所对应的视频帧作为视频关键帧。本申请更关注于视频帧内容的代表性，而非时间的先后顺序，同时关键帧提取也与视频镜头划分无关，能体现关键帧的代表性和区分性，具有较高的保真度和压缩率，而且由于关键帧的提取不受时间先后顺序的影响，使得本申请对于构造视频帧的静态摘要非常有效。

技术领域

本发明涉及视频处理技术领域，可用于金融领域，尤其涉及一种基于支配集的视频关键帧提取方法和装置。

背景技术

关键帧提取是视频处理的重要步骤之一，在视频内容分析中有广泛的应用。传统的视频关键帧提取方法大致分为2大类：第一类是基于采样的关键帧提取方法，这类方法采用随机或均匀抽样的方式得到关键帧，这类方法虽然简单快捷，但是可能会导致一些重要的视频片段没有选到关键帧，或者是一些片段取到重复的关键帧。第二类是基于镜头分隔的关键帧提取方法，这类方法把视频分成若干个视频镜头，然后选取每个镜头的首帧或末帧作为关键帧，此类方法受限于镜头分隔的精度，同时，此类方法并不能完全体现视频镜头的内容。

近年来，一些基于视频内容和语义特征的关键提取方法也陆续被提出，比如利用阈值和聚类的方法选取关键帧；还有提出了运动和空间显著度，并加权融合提取关键帧的方法；通过运动能量来实现关键帧的选取；基于时域最大值的关键帧提取算法；分别结合人类视觉系统的视觉注意模型进行关键帧的提取等。但是现有的提取方法在关键帧提取过程中，大多受时间先后的影响，即相同或相似的视频帧，因在不同的时间点仍然可能同时被选取为关键帧，而对于静态视频摘要来说，用户的目的是快速了解视频的基本内容，对时间的实践性要求不是很高，因此这些方法得到的关键帧对于用户快速浏览视频内容来说是冗余的。另外，现有的关键帧提取算法大多以镜头的分隔或聚类为前提，然后结合其他工具或特征来提取关键帧，但镜头分隔不仅计算复杂度高，而且易受噪声、光线变化等参数影响，而聚类方法又易受到阈值的影响。

发明内容

有鉴于此，本发明提供一种基于支配集的视频关键帧提取方法和装置，以解决上述提及的至少一个问题。

为了实现上述目的，本发明采用以下方案：

根据本发明的第一方面，提供一种基于支配集的视频关键帧提取方法，所述方法包括：对视频进行图建模以得到所述视频对应的无向权重图，所述无向权重图的顶点与所述视频的视频帧一一对应，顶点之间边的边权重反应两个视频帧之间的相似程度；通过整数规划来获得所述无向权重图的最小支配集；提取所述最小支配集中顶点所对应的视频帧作为视频关键帧。

根据本发明的第二方面，提供一种基于支配集的视频关键帧提取装置，所述装置包括：图建模单元，用于对视频进行图建模以得到所述视频对应的无向权重图，所述无向权重图的顶点与所述视频的视频帧一一对应，顶点之间边的边权重反应两个视频帧之间的相似程度；整数规划单元，用于通过整数规划来获得所述无向权重图的最小支配集；关键帧提取单元，用于提取所述最小支配集中顶点所对应的视频帧作为视频关键帧。

根据本发明的第三方面，提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现上述方法的步骤。

根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

根据本发明的第五方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述方法的步骤。