[发明专利]文本与图像联合建模的面向人物的视频摘要提取方法

说明书

本发明公开了一种文本与图像联合建模的面向人物的视频摘要提取方法，包括：对原始视频数据进行预处理，获得等间距的视频帧序列以及与原始视频数据相关的文本信息；利用人物检测的方法逐帧地、无差别地定位出所有的人物区域，并通过一定范围的时间窗口筛选出相关的文本信息；根据选出的人物区域与相关的文本信息，利用重识别的方法将每一人物与目标人物进行匹配，将匹配成功的人物区域及对应文本信息所属的视频帧作为关键帧；根据时间相关性聚合所有关键帧，并补充一些过渡帧以形成流畅的视频片段，从而得到面向人物的视频摘要。该方法可以结合视觉信息以及多源的文本信息，产生更加细粒度的面向视频人物的摘要。

技术领域

本发明涉及计算机视觉和自然语言处理领域，尤其涉及一种文本与图像联合建模的面向人物的视频摘要提取方法。

背景技术

视频摘要是视频分析的重要问题，它的任务是从一段完整的视频中抽取出包含该视频主要元素的摘要，例如视频中的高亮片段或符合特定主题的摘要等等。在现实场景中，传统的视频摘要方法无法满足用户的更加个性化的需求，尤其对于一些影视爱好者或喜爱特定人物的观众而言，他们可能更乐于做一些特殊的面向人物的摘要，例如特定明星在某部影视作品中出场片段的剪辑等。然而，由于当前的技术所限，单纯基于视频分析的技术往往开支巨大，却很容易造成关键帧的遗漏或误判，从而影响用户体验。

另一方面，注意到，现有的大部分的视频摘要方法都是基于视觉特征来衡量摘要的突出性，却很少利用到视频中富含的文本信息。而事实上，视频中含有大量的不同类型的文本信息，诸如字幕和弹幕等，可以为描述当前帧的内容，尤其是提示当前出场人物的身份特征提供更为直接的语义线索。因此，如能将文本信息和视觉信息有效结合，可以更好地完成面向人物的视频摘要任务。

发明内容

本发明的目的是提供一种文本与图像联合建模的面向人物的视频摘要提取方法，可以结合视觉信息以及多源的文本信息，产生更加细粒度的面向视频人物的摘要。

本发明的目的是通过以下技术方案实现的：

一种文本与图像联合建模的面向人物的视频摘要提取方法，包括：

对原始视频数据进行预处理，获得等间距的视频帧序列以及与原始视频数据相关的文本信息；

利用人物检测的方法逐帧地、无差别地定位出所有的人物区域，并通过一定范围的时间窗口筛选出相关的文本信息；

根据选出的人物区域与相关的文本信息，利用重识别的方法将每一人物与目标人物进行匹配，将匹配成功的人物区域所属的视频帧作为关键帧，并保存相应的文本信息；

根据时间相关性聚合所有关键帧，并补充一些过渡帧以形成流畅的视频片段，再结合对应的文本信息，从而得到面向人物的视频摘要。

由上述本发明提供的技术方案可以看出，相比于传统的视频摘要方法，本发明探究了更加细粒度的面向人物的视频摘要问题。一方面，可以提供更为优良的人物视频摘要，在准确率、召回率和流畅度等主客观指标上都能获得更好的结果；另一方面，通过视频图像与文字的结合，可以充分挖掘并揭示与目标人物相关的语义信息，并为支撑其他相关应用提供了基础。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种文本与图像联合建模的面向人物的视频摘要提取方法的流程图；

图2为本发明实施例提供的人物重识别的示意图；

图3为本发明实施例提供的不同的情境选择文本源的示意图。

具体实施方式