[发明专利]一种基于多帧运动估计和融合的超分辨率重构方法

说明书

技术领域

本发明涉及通信领域的视频图像处理，尤其涉及视频图像的超分辨率重构方法。

背景技术

随着网络经济的快速发展和网络视频行业的不断成熟，网络视频市场消费需求将持续快速增长。互联网上出现了很多视频网站，这些视频网站运营成本支出主要包括三大块：带宽、服务器和推广，其中高昂的带宽成本让许多中小视频网站不堪重负。最便宜的也在1G带宽400万/年，而要使视频流畅播放，实现观赏级的用户体验，一个视频网站至少需要2G以上的带宽，同时还需要在各地购买足够的服务器。在现有网络带宽条件下，支持不了高清视频源，用户端视频质量清晰度不高，严重影响了好的商业模式的推广和像IPTV产业的进行。

目前的正版高清视频数据源的分辨率为1920*1080像素，帧率为60帧/秒。由于网络带宽的限制，在网络上传输到达用户端的视频数据的空间分辨率只能达到640*480，帧率为12～24帧/秒，还不能满足用户通过网络传输对高清视频数据的观赏级用户体验。

发明内容

本发明要解决的技术问题在于利用超分辨率重构技术将从网络接收的多帧低分辨率视频图像融合成一帧高分辨率的视频图像，例如将5帧640*480的低分辨率图像，融合后得到一幅1920*1080高分辨率的图像，以满足用户在现有的带宽条件下，通过网络传输对高清视频数据的观赏级用户体验。

为了解决上述问题，本发明提供了一种基于多帧运动估计和融合的超分辨率重构方法，包括如下步骤：

(1)利用相位相关法对所有相邻的两帧图像中每一对相邻的两帧图像估算所述每一对相邻的两帧图像的亚像素运动向量，包括：

(10)求所述相邻的两帧图像的相位相关平面；

(12)在所述相位相关平面上找局部最大值点，并且根据峰值大小排序，提取峰值较大的一个或多个峰值点，其中所述一个或多个峰值点的位置为运动向量；

(14)由于实际的峰值点一般都不在整数位置上，因此，对于所述一个或多个峰值点中的每一个，在分离的两维相位相关平面上进行亚像素运动向量估计：利用峰值点和与其相邻的像素点建立抛物线模型，根据抛物线模型来求得与所述一个或多个峰值点相对应的一个或多个实际的峰值点，所述实际的峰值点的位置能够介于两个整数位置之间，从而得到相邻的两帧图像的亚像素运动向量；

(2)基于所估算的每一对相邻的两帧图像的亚像素运动向量，将当前帧图像和与其相邻的多个参考帧图像融合成为与当前帧图像对应的指定分辨率的高清晰图像，具体包括：

(20)将当前帧图像放大到所述指定分辨率的高分辨率图像，作为迭代的初始值；

(22)对参考帧图像中的每一帧以图像块为单位执行下述步骤：

(2210)把参考帧的图像块对应的亚像素运动向量分解成整数部分和小数部分，将所述参考帧的图像块移动所述整数部分的运动向量，得到移动的参考帧的图像块，将与参考帧的图像块对应的所述高分辨率图像的图像块移动所述小数部分的运动向量，得到移动的高分辨率图像的图像块；

(2220)对所述移动的高分辨率图像的图像块进行高斯滤波并下采样，以得到与所述参考帧图像的分辨率相同的下采样图像块；

(2230)将所述下采样图像块与所述移动的参考帧的图像块相减得到减图像块；

(2240)将所述减图像块进行上采样和高斯低通滤波以得到所述指定分辨率的上采样图像块；

(2250)将所述上采样图像块反向移动所述小数部分的运动矢量，以得到反向移动的上采样图像块；

(2260)将所述反向移动的上采样图像块乘以迭代步长β并输出，其中所述迭代步长β的值在0到1之间的范围；

(24)将所有参考帧图像的所述步骤(2260)的输出结果累加到所述高分辨率图像，以更新所述高分辨率图像；

(26)返回所述步骤(22)重复迭代以得到所述指定分辨率的高清晰图像，迭代次数根据经验值确定。

本发明所述的方法，在所述步骤(14)之后，还包括步骤：(16)根据所述一个或多个实际的峰值点的峰值，来计算所述一个或多个实际的峰值点的相对峰值，所述相对峰值用每一实际的峰值点的峰值除以所有的实际峰值点的峰值之和来表示；

在所述步骤(2230)之后，还包括步骤：(2235)求所述减图像块的绝对值之和，并根据所述绝对值之和从增益模型求出增益，将所述增益乘以所述参考帧的图像块的运动向量对应的相对峰值，以得到可靠性参数，其中所述增益模型是所述绝对值之和的函数，且当所述绝对值之和大于或等于预定阈值时增益为1，当所述绝对值之和小于预定阈值时增益线性下降；