[发明专利]用于将广告剪辑插入视频序列的方法以及对应设备

说明书

技术领域

本发明涉及将剪辑或广告序列插入视频画面序列。

背景技术

随着通过互联网发布视频内容的到来，该领域的参与者(诸如Yahoo^TM， Google^TM或Microsoft^TM)将广告看作成长的关键要素。为此已经开发出不同 的工具，用于在避免打扰到观众的同时，增强在视频中插入的广告的视觉影 响。

具体地，Microsoft^TM已经开发了在题为“VideoSense：a contextual video advertising system”，Proceedings of the 15th international conference on Multimedia，pp 463-464，2007的文献中所描述的称为VideoSense的工具。该工 具被创建用于将广告剪辑插入到视频序列中，目的在于选择与视频序列相关 的剪辑并在关键时刻将其插入在视频中，而不仅是在视频序列的开始和结束 处。为了选择要插入的剪辑，从剪辑和序列中提取颜色、运动或声音节律类 型的低级(low-level)参数，然后彼此进行比较，然后所选择的剪辑是具有最接 近于视频序列的低级参数的低级参数的剪辑。额外的信息(诸如与剪辑或序 列关联的、并且由剪辑或序列中所包含的视频内容或文本信息的广告商或广 播商所提供的标题)也用于选择插入视频序列的剪辑。一旦被选择，该剪辑 就被插入视频序列的特定点处，更具体地是在不连续性高并且吸引力低的序 列的点处、例如在不包含任何运动的场景或镜头的结束处。

因此，所选择的剪辑通常被放置在镜头变化之后。虽然所选择的剪辑的 视频内容与其被插入的序列的内容有关，但这种镜头变化对观众感知剪辑的 影响被忽略。实际上，若干研究观测到的现象，尤其是在O.Le Meur，P.Le Callet和D.Barba发表在Vision Research，Vol.47/19 pp.2483-2498，Sept.2007 的题为“Predicting visual fixations on video based on low-level visual features” 的文献中-未考虑在镜头变化之后所注视的区域的时间延展(temporal extension)。这些研究的结果是观众在镜头变化之后的近似200到300毫秒的 时间之内继续注视他在镜头变化之前注视的区域。因此，观众所看到的区域 并不取决于当前时间所显示的画面，而是取决于先前所显示的画面。图1图 示了该现象。由包括7幅画面的视频序列所表示的图的上面部分的一行画面 以100毫秒的时间间隔而彼此分离。在该序列的第三与第四画面之间发生了 镜头变化。该图下面部分的一行画面通过白点示出了观众注视的画面区域。 注意，观众仅在第六画面(也就是在镜头变化之后的2幅画面)结束处转移 他的注视。这种时间延展归因于不同的因素，特别是时间掩蔽、惊异效果以 及重新初始化感知行为而在生物学上所需的时间。在50Hz视频的情况下，这 种时间延展在镜头变化之后持续大约15幅画面。

如果广告的感兴趣区域没有定位在与镜头变化之前视频序列的感兴趣区 域相同的点，则因此，广告的内容不被观众立即感知，并且广告对观众的视 觉影响减小。不存在对于广告所携带的消息的直接感知。

发明内容

本发明的一个目的在于优化插入到视频序列中的广告剪辑的视觉影响。

为此，根据本发明，所提出的是，在用于插入的广告剪辑的选择处理中， 以视频序列的画面的感兴趣区域与广告剪辑的感兴趣区域之间存在连续性的 方式来说明视频序列和广告剪辑的感兴趣区域。剪辑的内容将更快速地被观 众所感知。

因此，本发明涉及用于处理画面的方法，所述方法目的在于在称为视频 序列的视频画面序列的两幅画面之间的称为插入点的点处插入广告剪辑，所 述方法包括以下步骤：

生成表示所述插入点之前的视频序列的突性(salience)的突性映射 (salience map)，

为广告剪辑集的每一广告剪辑生成突性映射，

为所述广告剪辑集的每一广告剪辑确定所述视频序列的突性映射与所述 广告剪辑的突性映射之间的类似程度，所述类似程度表示所述两个映射上的 突性区域的位置之间的比较，

在所述广告剪辑集之中，选择具有最高类似程度的广告剪辑，以及