[发明专利]用于生成高分辨率视频流的方法和系统

说明书

技术领域

本发明涉及视频图像处理，特别涉及超分辨率技术，即从一个或多个低分辨率图像生成高分辨率图像的问题。

背景技术

已经以不同方式解决了从多个图像生成高分辨率全景的问题。

获得改善的高品质全景的第一个选择是使用全景摄像机。通常，基于(几乎)零视差排列的多个视频传感器，全景摄像机能够捕获覆盖360度视角的全景视图。但是，当前传感器存在限制，由于摄像机设备传感器的分辨率度有限，它们感测场景的能力有限。此外，包含更多传感器增加了设备成本，特别是实时拼接的成本。

改善转播图像质量的另一个选择是将一个摄像机的图像配准到另一个上。这些图像可以被拼接在一起，从而提供全景视图。但是，这种方法存在视差问题(由于视点和视向的不同，导致不同的角度显示)和颜色差异。此外，难以对移动摄像机进行动态配准。另一个问题是，虽然图像的某些部分可以在其他摄像机中获得，但是场景的某些区域总是未被任何摄像机覆盖。在这种情况下，用户观看节目时的体验非常不平顺。

发明内容

因此，本发明的实施方式的目的是至少部分地克服上述问题中的一个或多个。

根据本发明的一个方面，提供了一种用于生成高分辨率视频流的方法，该方法包括：接收低分辨率视频流；接收至少一个高分辨率视频流；从所述至少一个高分辨率视频流选择第一图像分块(patch)；生成所述第一高分辨率图像分块各自的第一低分辨率副本(counterpart)；将由所述第一低分辨率副本索引的所述第一高分辨率图像分块存储在第一数据存储器中；以及通过用根据所述索引从所述第一数据存储器获得的第一高分辨率分块替代所述低分辨率视频流的与所述第一低分辨率副本中的一个或多个相似的部分来改善所述低分辨率视频流；其中所述低分辨率视频流和所述至少一个高分辨率视频流是基本上同步的视频流。

这里使用的术语“低分辨率视频”指的是概览图像，优选全景图像，其提供的细节相对较少。这里使用的术语“高分辨率视频”指的是针对“低分辨率视频”所覆盖的场景的较小部分提供更多细节的视频流。高分辨率视频不一定覆盖低分辨率视频范围中完全包括的场景的区域。如同下面所解释的那样，全部重叠是优选的，但是部分重叠也有效。即使完全缺乏重叠也不会使本发明无效，前提是这不是永久性的，亦即低分辨率图像和高分辨率图像的内容之间应该存在某种联系。

“分块”应该理解成视频图像的一个小区域。分块优选是矩形的，特别优选是正方形的。分块的尺寸为大约几个像素，优选3x3个像素到最多16x16个像素。

本发明的一个优点是避免了视差和角度不匹配问题，因为根据本发明的方法不是试图将整个形态上可辨识的特征粘贴到低分辨率图像中，相反，替换了那些对于人眼看起来抽象，但是作为正被可视化的场景的特征的非常小的图案。

归功于本发明的方法的实时性质，即，使用与低分辨率流基本上同步且覆盖相同大致场景的高分辨率流，本发明的方法将胜过那些纯粹基于静态字典的系统。

在一个实施方式中，根据本发明的方法与第二数据存储器一起使用，该第二数据存储器包括预存储的由第二低分辨率副本索引的第二高分辨率图像分块，并且该方法还包括用根据其索引从所述第二数据存储器获得的第二高分辨率分块替代所述低分辨率视频流的与所述第二低分辨率副本中的一个或多个相似的部分。

该实施方式结合了动态创建分块字典的效果和使用已被证明的静态字典的效率。

在根据本发明的方法的一个实施方式中，所述第一高分辨率图像分块的保存包括使到期时间取决于所述高分辨率图像分块，该方法还包括根据所述到期时间使所述第一高分辨率图像分块无效。

在该实施方式中，动态字典永久性地更新，同时避免所存储数据的无限增加。

在根据本发明的方法的一个实施方式中，所述低分辨率视频流的改善包括通过应用“最近邻”标准来确定与所述第一低分辨率副本中的一个或多个的相似性，其中用所述第一高分辨率分块替代包括用与符合所述“最近邻”标准的低分辨率副本相对应的各个第一高分辨率分块的加权总和来替代。

本实施方式的一个优点是即使动态字典中不存在完全匹配也能够改善图像某些分块的分辨率。

在根据本发明的方法的实施方式中，基于强度梯度来确定所述相似性。

这种简化被证明运算效率高，同时结果良好。

根据本发明的一个方面，提供了一种包括软件装置的计算机程序，所述软件装置被配置为在被运行时执行上述方法。