[发明专利]用于同步视频数据的方法和设备

说明书

技术领域

几乎每一个包含多于一个相同场景的视频的应用都需要记录的同步。可在例如体育赛事的数字电视传输中发现这些应用。这里，可通过一种被称为“画中画”的格式来从不同视点同步地观测感兴趣的场景。然而，这些服务需要复杂的和校准的基础结构(infrastructure)以通过使用外置时钟来触发照相机而按时间地排列视频流。尽管在专业电影制作中对视频同步的需求与场记板一样古老，这仍然是电影剪辑的重要参考。因为数字3D动画的整合，时间参考获得越来越多的关注。直到现在，这些应用都是通过说明专门的专业领域的复杂同步硬件来解决的。

然而，易于同步的能力不仅意味着专业电视或电影制作的增强，并且尤其促进了基于新机构的服务。随着能够记录高质量视频的照相手机的共享的持续增加，用户生成的内容数量达到允许用户寻找任何感兴趣位置的媒体的临界规模。这里，可通过GPS标签的帮助来预过滤查询。不仅是位置，还有时间上的查询允许搜索已由多个生产消费者(在同一时间制作和消费内容的用户)所记录的事件。因此，可用媒体丰富的巨大空间可以基于多个视频记录的可用性，如果他们可被及时地匹配的话。

一个简单的例子就是在观看例如街头表演、交谈或本地体育赛事的特定事件时的视点偏移。这还可以包括时间缝合(stitching)应用，其可以从单独的位置匹配的镜头中生成电影。这里，多个记录器中的一个的音频数据可与其他生产消费者的视频数据相混合，导致了协作的场景记录。

此外，通过将计算机视觉领域的公知算法扩展到视频处理，冗余视频信息的可用性可被用于重构三维风景，减去背景、前景或创建不同视点的组合。一个明显的例子可以是消除遮挡(occlusions)以促进街头表演的无干扰记录。然而，使用环境的三维结构的强大信息，可以发展复杂的扩张逼真应用。另外，可以在空间域和时间域内生成超分辨率视频，其允许平滑的慢动作及缩放。

然而，视频序列的同步是所有这些应用的先决条件。

过去几年已经提出了多种解决视频同步的问题的方案。一可能的分类公开为C.Lei和Y.H.Yang.具有子帧优化的基于三焦距张量的多视频同步.IEEE Transactions on Image Processing15(9)：2473-2480，2006，其对基于特征的，基于强度的和基于照相机运动的算法进行区分。之后的种类包括具有严格联系的照相机的极专业的场景。当然，这是一种极有限制的假设。基于特征的方案是同步方法中的最大分支。这里，其假设可在视频帧中检测那些所谓的图像特征，也就是高区分性的点或边缘，并且这些图像特征可与其他序列中的相应特征相关联。

基本的想法是：不同照相机之中的相应于相同3D点的帧特征的运动互相关联。这类算法的主要缺点在于需要贯穿序列的特征的可靠检测、匹配和追踪。这一重要问题还未得到满意的解决。最终，基于强度分类的同步算法关注建立从一个视频中的每个像素到第二个视频中的一个像素的映射。在某些方案中，不仅估计两个视频之间的时间偏移，还估计两个图像之间的几何失真。然而，关于失真的知识对于精确的同步来说是必需的，这使得任务更加复杂。一般来说，基于强度的方法无法处理运动照相机。所有现有方案的共同问题在于视觉方向的限制。超过30度的不同观测方向差别通常得不到支持。

即使基于硬件的同步系统允许最大稳健性和精确度，但因其复杂性和对基础结构的需求，当前其不适用于最终用户设备。到目前为止，几乎不会使用具有时间戳的媒体内容的标签，其可能基于单独的内部设备时钟，这些时钟可能具有无限制的差异。此外，基于硬件和时间戳的方案并不适用于追溯已经存在的视频。

在另一方面，即使最新的基于软件的方案也意味着高的计算复杂度。这是因为这一事实：基于强度的技术处理帧像素，并且由此在极高规模上执行算术操作。基于特征的方法提取帧的兴趣点以降低维度，则因此计算时间反而需要提取时间。基于照相机运动的方案相对较快；然而，其假设照相机的严格的安装和基线。因此其不适用于上述的应用。

然而，基于强度和基于特征的算法需要依从特定的假设。当前发展的一个主要的挑战就是观测角度的限制。基于强度的方法几乎无法应对相应的失真，而基于特征的技术可以应对典型的高达30度的角度，尽管其性能相当有限。进一步的，这两个种类采用照相机性能的知识，例如焦点长度，或者至少需要使用相同类型的照相机。另一个相当重要的挑战，特别对于基于强度的方案来说，就是照相机运动的限制。然而，用手操作的及轻质的照相机电话不可避免地导致改变观察方向，即使增强了图像稳定技术。