[发明专利]一种基于多帧运动估计和融合的超分辨率重构方法

权利要求书

1.一种基于多帧图像的运动估计和融合的超分辨率重构方法，包括如下步骤：

(1)利用相位相关法对所有相邻的两帧图像中每一对相邻的两帧图像估算所述每一对相邻的两帧图像的亚像素运动向量，包括：

(10)求所述相邻的两帧图像的相位相关平面；

(12)在所述相位相关平面上找局部最大值点，并且根据峰值大小排序，提取峰值较大的一个或多个峰值点，其中所述一个或多个峰值点的位置为运动向量；

(14)由于实际的峰值点一般都不在整数位置上，因此，对于所述一个或多个峰值点中的每一个，在分离的两维相位相关平面上进行亚像素运动向量估计：利用峰值点和与其相邻的像素点建立抛物线模型，根据抛物线模型来求得与所述一个或多个峰值点相对应的一个或多个实际的峰值点，所述实际的峰值点的位置能够介于两个整数位置之间，从而得到相邻的两帧图像的亚像素运动向量；

(2)基于所估算的每一对相邻的两帧图像的亚像素运动向量，将当前帧图像和与其相邻的多个参考帧图像融合成为与当前帧图像对应的指定分辨率的高清晰图像，具体包括：

(20)将当前帧图像放大到所述指定分辨率的高分辨率图像，作为迭代的初始值；

(22)对参考帧图像中的每一帧以图像块为单位执行下述步骤：

(2210)把参考帧的图像块对应的亚像素运动向量分解成整数部分和小数部分，将所述参考帧的图像块移动所述整数部分的运动向量，得到移动的参考帧的图像块，将与参考帧的图像块对应的所述高分辨率图像的图像块移动所述小数部分的运动向量，得到移动的高分辨率图像的图像块；

(2220)对所述移动的高分辨率图像的图像块进行高斯滤波并下采样，以得到与所述参考帧图像的分辨率相同的下采样图像块；

(2230)将所述下采样图像块与所述移动的参考帧的图像块相减得到减图像块；

(2240)将所述减图像块进行上采样和高斯低通滤波以得到所述指定分辨率的上采样图像块；

(2250)将所述上采样图像块反向移动所述小数部分的运动矢量，以得到反向移动的上采样图像块；

(2260)将所述反向移动的上采样图像块乘以迭代步长β并输出，其中所述迭代步长β的值在0到1之间的范围；

(24)将所有参考帧图像的所述步骤(2260)的输出结果累加到所述高分辨率图像，以更新所述高分辨率图像；

(26)返回所述步骤(22)重复迭代以得到所述指定分辨率的高清晰图像，迭代次数根据经验值确定。

2.如权利要求1所述的方法，在所述步骤(14)之后，还包括步骤：(16)根据所述一个或多个实际的峰值点的峰值，来计算所述一个或多个实际的峰值点的相对峰值，所述相对峰值用每一实际的峰值点的峰值除以所有的实际峰值点的峰值之和来表示；

在所述步骤(2230)之后，还包括步骤：(2235)求所述减图像块的绝对值之和，并根据所述绝对值之和从增益模型求出增益，将所述增益乘以所述参考帧的图像块的运动向量对应的相对峰值，以得到可靠性参数，其中所述增益模型是所述绝对值之和的函数，且当所述绝对值之和大于或等于预定阈值时增益为1，当所述绝对值之和小于预定阈值时增益线性下降；

在所述步骤(2250)之后，还包括步骤：(2255)将所述反向移动的上采样图像块乘以所述可靠性参数以修正所述反向移动的上采样图像块。

3.如权利要求1或2所述的方法，其中所述步骤(10)还包括步骤：

(1010)使用窗函数对所述相邻的两帧图像分别进行加窗处理；

(1020)对加窗处理的两帧图像进行快速傅立叶变换；

(1030)将傅立叶变换结果的实部加虚部的复数形式转换成幅值和相位的形式；

(1040)将两帧图像的傅立叶变换结果的相位对应相减，得到相位差；

(1050)将所述相位差转换为幅值为1的幅值和相位的复数形式；

(1060)对所述步骤(1050)的转换结果进行快速的反傅立叶变换得到相位相关平面。

4.如权利要求3所述的方法，其中所述步骤(1010)中，所述窗函数是汉宁窗。

5.如权利要求4所述的方法，其中所述步骤(1010)之前还包括：对所述相邻的两帧图像分别进行预处理，所述预处理包括去噪或下采样。