[发明专利]视频动态超分辨率处理方法及系统

说明书

技术领域

本发明属于视频处理技术，特别是视频超分辨率(Super-resolution,SR)技术，尤其涉及一种视频动态超分辨率处理方法及系统。

背景技术

随着电视面板产业技术的不断提高，显示设备的分辨率迅速提升，但是视频内容的分辨率并没有随之迅速增加。例如，现在的超清电视在市场上已经越来越普遍，但是由于图像采集设备的限制，大量视频源的分辨率还是标清级或高清级的，这使得显示的视觉质量大大下降。因此，研究利用低分辨率图像信息重建出高分辨率图像的超分辨率(Super-resolution,SR)算法是十分重要的。

根据所运用的信息形式的不同，当前的超分辨率技术的方法可以大致分为两类：静态超分辨率技术(static super-resolution，SSR)方法和动态超分辨率技术(dynamic super-resolution，DSR)方法。所谓的静态超分辨率技术方法目的在于，通过一些低质的低分辨率重建出一张高分辨率图像，这些方法若直接运用在视频处理中，往往会造成放大的视频时序上的不连续性，因此限制了这类方法在视频超分辨率技术中的运用，动态超分辨率技术方法的提出主要是针对视频分辨率重建的问题。

静态超分辨率技术方法是目前研究最多的方法，通常分为如下几大类：基于插值的方法、基于样本学习的方法、基于重建的方法。基于插值的方法实际上属于图像缩放层面上的技术，但很多文献中将这一技术归类于超分辨率技术中。插值的方法主要是利用邻域原始像素点的像素值并为其分配不同权值，将加权求和之后的值作为待插值像素点的值。常见的插值方法，如最近邻插值、双线性插值、双立方插值等等都被广泛利用，这些方法也仅仅只能将原始低分辨图像的尺寸改变，并不能提供更多的信息或是频率，图像整体的分辨率依然没有得到提升。基于样本的方法，这类方法样本库的选择对结果影响很大，而且对于每个放大倍数都要有单独的一套样本库，复杂度太高。

动态超分辨率技术用于解决视频的超分辨率问题，事实上静态超分辨率的方法通过扩展都可用于视频超分辨问题中，但是往往存在复杂度高、代价高、帧间不连续等问题。例如，在线纹理合成法引入了一种不需要样本库的超分辨率技术(Database-Free Texture Synthesis,DFTS)，它的核心思想是用提高人眼感官上的分辨率代替恢复真实的信号。该方法利用相邻帧同一位置的相邻像素信息，合成高频信息以生成一幅有锐利的边缘和丰富的细节的高分辨率图像，但是这种方法仅适用于有大量相似结构的视频图像，并且可利用的合成信息很有限。还有利用卡尔曼滤波的动态超分辨率方法，该方法在相邻帧通过运动补偿获得对应的像素信息，得到更为可靠的超分辨率图像，但是这一类方法往往受到运动估计精度的制约，算法的鲁棒性不是很好。总而言之，传统动态超分辨率算法普遍存在复杂度和重建效果之间难以平衡的问题，并且利用帧间运动信息的动态超分辨率算法一般需要较高亚像素精度的运动矢量，对于运动估计算法无法估计准确或者复杂的运动视频往往会产生结果的紊乱。

发明内容

为了解决现有技术中的上述问题，即为了解决如何实现改善图像边缘同时保证超分辨率图像的鲁棒性，本发明提供了一种视频动态超分辨率处理方法，包括：

根据运动估计得到当前待处理帧中任一像素的运动矢量，并计算出所述运动矢量的可靠度；

根据所述像素的运动矢量提取所述像素在前一高分辨率帧中对应的像素，根据该对应的像素利用卡尔曼滤波处理得到第一处理结果；

对所述待处理帧进行插值处理得到第二处理结果；

利用所述可靠度对所述第一处理结果和第二处理结果进行加权融合，融合后得到超分辨率帧。

优选地，所述根据运动估计得到当前待处理帧中任一像素的运动矢量，包括：

利用前一高分辨率帧和当前待处理帧进行运动估计，得到当前待处理帧中任一像素的运动矢量。

优选地，在得到超分辨率帧之后，还包括：

对所述超分辨率帧进行去模糊处理，得到去模糊的高分辨率图像。

优选地，所述利用所述可靠度对所述第一处理结果和第二处理结果进行加权融合的融合公式为：

其中，为融合结果，为运动矢量的可靠度，为第一处理结果，为第二处理结果。

本发明还提供了一种视频动态超分辨率处理系统，所述处理系统包括：

运动估计单元，用于根据运动估计得到当前待处理帧中任一像素的运动矢量，并计算出所述运动矢量的可靠度；