[发明专利]一种基于多帧运动估计和融合的超分辨率重构方法

摘要

一种基于多帧运动估计和融合的超分辨率重构方法，从多帧图像中的每一相邻两帧求取相位相关平面，并在分离的两维相位相关平面上基于抛物线模型来实现多帧亚像素运动估计；进而通过将该亚像素运动估计的小数部分的运动向量和整数部分的运动向量分别应用于低分辨率图像和高分辨率图像，将当前帧图像和相邻的多个参考帧图像融合，以重构与当前帧图像对应的高清晰图像提供给用户，实现了用户通过网络传输对高清视频数据的观赏级用户体验。

主权项

一种基于多帧图像的运动估计和融合的超分辨率重构方法，包括如下步骤：(1)利用相位相关法对所有相邻的两帧图像中每一对相邻的两帧图像估算所述每一对相邻的两帧图像的亚像素运动向量，包括：(10)求所述相邻的两帧图像的相位相关平面；(12)在所述相位相关平面上找局部最大值点，并且根据峰值大小排序，提取峰值较大的一个或多个峰值点，其中所述一个或多个峰值点的位置为运动向量；(14)由于实际的峰值点一般都不在整数位置上，因此，对于所述一个或多个峰值点中的每一个，在分离的两维相位相关平面上进行亚像素运动向量估计：利用峰值点和与其相邻的像素点建立抛物线模型，根据抛物线模型来求得与所述一个或多个峰值点相对应的一个或多个实际的峰值点，所述实际的峰值点的位置能够介于两个整数位置之间，从而得到相邻的两帧图像的亚像素运动向量；(2)基于所估算的每一对相邻的两帧图像的亚像素运动向量，将当前帧图像和与其相邻的多个参考帧图像融合成为与当前帧图像对应的指定分辨率的高清晰图像，具体包括：(20)将当前帧图像放大到所述指定分辨率的高分辨率图像，作为迭代的初始值；(22)对参考帧图像中的每一帧以图像块为单位执行下述步骤：(2210)把参考帧的图像块对应的亚像素运动向量分解成整数部分和小数部分，将所述参考帧的图像块移动所述整数部分的运动向量，得到移动的参考帧的图像块，将与参考帧的图像块对应的所述高分辨率图像的图像块移动所述小数部分的运动向量，得到移动的高分辨率图像的图像块；(2220)对所述移动的高分辨率图像的图像块进行高斯滤波并下采样，以得到与所述参考帧图像的分辨率相同的下采样图像块；(2230)将所述下采样图像块与所述移动的参考帧的图像块相减得到减图像块；(2240)将所述减图像块进行上采样和高斯低通滤波以得到所述指定分辨率的上采样图像块；(2250)将所述上采样图像块反向移动所述小数部分的运动矢量，以得到反向移动的上采样图像块；(2260)将所述反向移动的上采样图像块乘以迭代步长β并输出，其中所述迭代步长β的值在0到1之间的范围；(24)将所有参考帧图像的所述步骤(2260)的输出结果累加到所述高分辨率图像，以更新所述高分辨率图像；(26)返回所述步骤(22)重复迭代以得到所述指定分辨率的高清晰图像，迭代次数根据经验值确定。