[发明专利]一种多尺度视频表示与浏览方法

说明书

技术领域

本发明涉及多尺度视频处理方法，具体涉及一种多尺度的视频表示与浏览方法及其实现方法，属于计算机应用技术领域。

背景技术

在当今的信息化社会中，视频作为一种最常见的信息载体，在人们的日常生活与交流中扮演了十分重要的角色。随着软硬件技术的发展，视频的数量也呈现爆炸性增长。面对如此大量的视频资源，人们对快速理解视频内容、快速浏览及定位视频特定情节等的需求也越来越迫切，而这就需要一种高效的视频表示和交互方法。目前视频的表示、浏览以及人与视频间的交互方式已严重制约着视频应用的进一步发展，一般来说，在浏览和理解视频的过程中，首先用户通常希望在粗尺度上对视频进行总览，然后根据自己的喜好或目的对特定的内容进行更精细尺度上的浏览。因此，提取和表达不同尺度、不同层次上的信息对于视频内容的表示与高效浏览具有非常重要的意义。

最常见的视频浏览与导航工具是时间轴，它通过控制滑块来达到浏览和定位的效果，这种设计虽然简单便捷，但其不能直观地呈现视频内容，导致视频内容和时间轴在表达上相对分离，使得难以对视频内容进行高效定位。

目前一种改进的方式是对时间轴添加文本注释，对视频内容虽然起到的一定的索引和提示作用，但直观性和操作效率上提高有限。视频摘要是一种很重要的对视频内容的表示和概括方式，大部分视频摘要技术通过提取关键帧并按照一定的规则将其进行排列，与时间轴相比提高了视频内容的表示效率，但大多缺乏可交互性。同时，现有的对视频的交互方式多采用基于WIMP的界面范式（Windows、Icon、Menu、Pointing device），要完成一个命令，用户需要在不同的交互资源（如鼠标定位、菜单命令、键盘输入等）之间进行频繁转换，这种方式在一定程度上降低了交互效率，并且对输入参数要求精确，阻碍了用户操作的流畅表达。

如何能够帮助用户用较少的时间对视频所展现的信息进行有效地认知、分析视频内容进而支持视频媒体的高效交互，是当前视频领域研究的热点和难点问题。目前视频的表示与浏览存在的问题主要包括：

①对视频的表示多是从计算机处理的角度出发，没有从有利于用户认知的角度出发。人们在认知复杂事物时，最大的困难在于对事物组成各部分之间关系的认知，而目前视频的信息传递多是基于对信息本身的计算机呈现，在强调真实感的同时却忽视了视频间或视频内容间多尺度关系的有效表达；

②对视频的交互方式单一，多是关注于视频的低层特征和精确信息。

所以，如何充分利用交互反馈来辅助用户意图的表达和感知以及如何通过有效的交互方式针对视频进行编辑进而形成直观的、利于用户认知的表示形式也是一类需要解决的重要问题。可改善单纯被动式的视频信息接受方式，增强用户的参与性。

发明内容

本发明的目的在于提供一种面向视频内容的多尺度表示和浏览方法，从而解决现有方法难以有效表达视频的总体内容和各部分之间的关系、难以对视频进行准确而高效地浏览等问题。本发明利用增强时间轴、草图注释、草图摘要以及紧凑的关键帧摘要等四种方式来提供不同尺度下视频的内容表达和浏览，采用的技术方案包括如下步骤：

一种多尺度视频表示和浏览方法，其步骤包括：

1）在输入端对待处理视频进行预处理，用户可对所述待处理视频进行手势输入和/或注释，所述预处理包括：

1-1）对待处理视频进行镜头分割并提取视频关键帧；

1-2）根据所述视频关键帧进行感兴趣区域ROI提取，得到关键帧ROI图像；

1-3）将所述关键帧ROI图像进行聚类和分层处理，得到ROI聚类结果及分层结构；

1-4）对所述步骤1）中视频关键帧进行草图风格化处理，生成关键帧草图，完成预处理；

2）预处理完成后的视频按照顺序或打乱时序加载下述表示形式，进行多尺度表示，

表示1：根据所述ROI聚类及分层信息加载得到增强时间轴；

表示2：根据用户在添加的视频草图注释和所述步骤1-3）中分层结果加载得到多层次草图注释；

表示3：根据所述步骤1-4）中关键帧草图和所述步骤1-3）中聚类和分层结果加载得到草图摘要；

表示4：根据所述步骤1-1）中待处理视频关键帧和所述步骤1-3）中聚类结构加载得到关键帧摘要；

3）输出端根据用户的手势输入选择上述一种或多种方法对该视频进行浏览，输出浏览结果。

所述步骤1-1）关键帧提取的方法为：根据镜头边界检测方法和关键帧颜色直方图将待处理视频分割为多个镜头。

所述步骤1-2）得到关键帧的ROI图像方法如下：