[发明专利]视频场景检测

说明书

背景技术

在视频内容的一些形式中，视频可以由可被分组成若干镜头的个体视频帧构成。在一些示例中，镜头可以表征为利用摄像机的某一视角拍摄的一系列帧。场景可以被表征为可以在行为、地点、背景和/或时间上相关的镜头集合，其中这样的相关性可能对应于内容或节目的本质。例如，在系列幽默剧、肥皂剧和/或戏剧节目的一些示例中，场景可以被表征为拍摄在特别位置发生的某一行为的连续镜头集合。

在观看或浏览视频内容的同时，用户可能期望访问该内容中与场景相关的特别场景或部分。定位视频内容内的场景的一个方法可以包含通过检测在镜头转变处的镜头边界来将个体帧分组到镜头中。可通过检测在接连帧中的差别来定位硬切镜头转变，其中出现的镜头的第一帧紧接着消失的镜头的最后帧。在另一方面，逐步镜头转变通常跨越多个帧，在该多个帧上，消失的镜头逐步转变到出现的镜头。在逐步镜头转变中，时间上相邻的帧可以是消失的镜头和出现的镜头的组合。因此，逐步镜头转变可以包括在接连帧之间的更小和非线性差别，使得精确识别镜头边界更加具有挑战性。

一旦识别了镜头，可以将镜头聚类成场景。使用K平均聚类以将镜头聚类成场景的算法是已知的。然而这些算法一般取决于对期望的聚类的数量的估计。因此，这些方法对于期望聚类的数量的正确估计是高度敏感的。对应算法还是相对复杂和计算起来代价高的。此外，尽管在构成镜头的个体帧之中的相关性可能是相当可靠的，但是在包括场景的镜头之中的相关性可能更加不可预测，并且可取决于摄像机的角度、场景的本质和/或其它因素。相应地，可证明可靠地和反复地识别场景是具有挑战性的。

发明内容

为了解决上述问题，提供一种用于检测视频内容中的场景的场景检测系统和相关方法。在一个示例中，用于检测视频内容中的场景的场景检测系统可包括计算设备，计算设备包括处理器和存储器。由处理器使用存储器的部分来执行场景检测程序。场景检测程序可被配置为识别在视频内容中的多个镜头。场景检测程序可在多个镜头中选择目标镜头。

然后场景检测程序可构建包括目标镜头并且具有时间上在目标镜头之前的第一数量镜头的前向窗、以及具有时间上在目标镜头之后的第二数量镜头的后向窗。对于在前向窗中的每个镜头，场景检测程序可确定在选择的镜头与在后向窗中的其它镜头中的每个镜头之间的差异。如果所确定的差异之一小于场景边界阈值，则场景检测程序可确定该场景未在目标镜头处开始。如果确定的差异都不小于场景边界阈值，则场景检测程序可确定该场景在目标镜头处开始。

提供该发明内容来引入对以简化形式的概念的选择，下文在详细描述中进一步描述该概念。该发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也非旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决了在该公开中的任何部分中提到的任何或所有缺点的实施方式。

附图说明

图1是根据本公开的实施例的场景检测系统的示意图。

图2是一系列接连视频帧的示意性图示。

图3是根据本公开的实施例的用于检测硬切镜头转变的方法的流程图。

图4是根据本公开的实施例的用于检测逐步镜头转变的第一种类的方法的流程图。

图5是根据本公开的实施例的用于检测可能通过图4中所示的方法未检测到的逐步镜头转变的第二种类的方法的流程图。

图6是包括目标镜头、镜头的时间上前向窗和镜头的时间上后向窗的一系列接连镜头的示意性图示。

图7是根据本公开的实施例的用于检测场景的方法的流程图。

图8是计算设备的实施例的简化示意性图示。

具体实施方式

图1示出用于检测视频内容中的一个或多个场景的场景检测系统10的一个实施例的示意图。场景检测系统10包括在计算设备22的大容量存储器18中存储的场景检测程序14。场景检测程序14可由计算设备22的处理器30加载到存储器26并且执行，以实施下文更详细描述的方法和进程中的一个或多个。