[发明专利]基于傅里叶变换配准的多光谱立体相机动态配准方法

权利要求书

1.基于傅里叶变换配准的多光谱立体相机动态配准方法，其特征在于，包括下列步骤：

第一步，原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正；

第二步，傅里叶变换配准；

2-1)对步骤1)中的到的去畸校正之后的红外和可见光图像进行傅里叶变换，将图像转为频域空间；

2-2)对频域空间进行高通滤波；

2-3)将滤波后的各图像的能量转换成对数-极坐标形式，使用基于相位相关的方法得到比例系数及旋转角；

2-4)将红外图像经角度θ₀旋转、比例a放大后再与可见光图像一起计算互能量谱，使用基于相位相关的方法得到平移量；

2-5)根据上一步得到的缩放系数a、旋转角度θ和平移量(Δx，Δy)对红外图像做配准，使其对准到可见光图像上；

第三步，在配准后的红外图像和可见光图像上分别提取特征点；

第四步，对上一步提取的特征点进行匹配；

所述第四步特征点匹配，具体包括以下步骤：

4-1)将红外图像和可见光图像都分为m×n个块；对于红外图每一个特征点进行步骤4-2)～4-6)；

4-2)找到在红外图对应的块块在可见光图相同位置的块为与块具有相同位置的块集合其特征点集记为评估像素点之间的相似程度，如果相似程度大于阈值t₁，则视为粗匹配点，其集合记为否则舍弃该点，选取下一个特征点重新进行步骤4-2)；

4-3)如果和中相似程度最大值s_first和次大值s_second满足：

F(s_first，s_second)≥t₂

则保留该匹配，取中相似程度最大的点作为匹配点，其中t₂为阈值,F(s_first，s_second)用于描述s_first和s_second之间的关系；如不满足，则舍弃该点，选取下一个特征点重新进行步骤4-2)；

按照该规则筛选之后，再按照步骤4-2)～4-3)匹配在红外图对应的特征点如果满足则保留该匹配如不满足，则舍弃该点，选取下一个特征点重新进行步骤4-2)；

4-4)以红外图特征点为基准，抛物线拟合优化对应可见光图的整数像素特征点得到的对应可见光图的亚像素特征点其中为x方向上的亚像素偏移量，为y方向上的亚像素偏移量；

4-5)以对应可见光图整数像素特征点为基准，根据4-4)的方法计算出对应红外图的亚像素特征点其中为x方向上的亚像素偏移量，为y方向上的亚像素偏移量；

4-6)得到最终的匹配点对为选取下一个红外图特征点重新进行步骤4-2)～4-6)；

第五步，根据第二步和第三步的结果计算配准后的红外图像特征点对应于红外原图像的特征点；

第六步，判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，重复第一步～第五步；

第七步，修正标定结果：

7-1)根据红外和可见光两图的特征点对坐标以及红外和可见光相机的内参矩阵来求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对u_l、u_r和基础矩阵F的关系是：

使用随机抽样一致性RANSAC对点对做进一步筛选，之后将对应点坐标代入上式，构建齐次线性方程组求解F；

基础矩阵和本质矩阵的关系是：

其中，K_l、K_r分别是红外相机和可见光相机的内参矩阵；

7-2)从本质矩阵分解出校正之后红外和可见光相机旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：

E＝[t]_×R

其中[t]_×表示t的叉乘矩阵；

将E做奇异值分解，得

定义两个矩阵

和ZW＝Σ

所以E可以写成以下两种形式

(1)E＝UZU^TUWV^T

令[t]_×＝UZU^T，R＝UWTV^T

(2)E＝-UZU^TUW^TV^T

令[t]_×＝-UZU^T，R＝UW^TV^T

得到四对R和t，选取具有三维意义的解；

7-3)将分解出的旋转和平移关系叠加到原来的外参里面；

记去畸变前的旋转矩阵为R₀，平移向量为t₀＝(t_x，t_y，t_z)^T；上一步计算出的旋转矩阵为R，平移向量为t＝(t′_x，t′_y，t′_z)^T；则新的R_new和t_new如下

将t_new乘一个系数，使得t_new在x方向上的分量