[发明专利]一种飞行器态势感知用多源图像实时融合方法及其装置

摘要

本发明公开了一种飞行器态势感知用多源图像实时融合方法及其装置，包括图像输入模块，FPGA模块将输入的图像进行帧同步处理，并转发至DSP配准模块；DSP配准模块计算输入图像间的尺度变换参数S，并根据S匹配相应的匹配模块，并获得变换参数Tfin；FPGA模块通过变换参数Tfin对待配准图像进行变换，变换后的图像通过FAMBED分解模块进行分解，得到多个频率层；FAMBED重构模块将频率层进行重构计算，输出融合图像。解决了飞行器机载多源图像实时融合问题，丰富下传图像的信息量，减少图像下传带宽，提高后续图像处理的有效性。

主权项

1.一种飞行器态势感知用多源图像实时融合方法，其特征在于，包括以下步骤：步骤1，以可见光图像为基准图像，通过图像配准方法获取第一变换参数Tfin，并且对红外图像进行变换，实现图像灰度的插值，得到变换后的红外图像；第一变换参数Tfin的计算步骤是：步骤1.1，对实时采集的红外图像和可见光图像进行帧同步处理；步骤1.2，计算红外图像和可见光图像的尺度变化参数S，其中S＝IVF*PsIR/IRF/PsIV，IVF为可见光相机的焦距，PsIV为可见光相机的像元尺寸，IRF为红外相机的焦距，PsIR为红外相机的像元尺寸；步骤1.3，S＜3&S＞0.3时，采用TopN‑SURF匹配算法，否则采用带通纹理信息匹配算法；TopN‑SURF匹配算法包括以下步骤：步骤1.3.1，提取多个特征点，并且建立特征点的质量空间和最小堆二叉树，对手选特征点Hessian响应值进行排序；步骤1.3.2，确定图像之间的初始变换参数Tor，根据初始变换参数中的旋转参数对待匹配图像进行旋转；步骤1.3.3，根据图像实时的焦距及像元尺寸信息，通过S＝IVF*PsIR/IRF/PsIV计算图像之间的尺度变化参数S，进而对特征匹配区域范围进行限定；步骤1.4，根据相应的匹配算法确定并输出第一变换参数Tfin；带通纹理信息匹配算法包括以下步骤：步骤1.3.a，根据尺度变化参数S和初始变换参数Tor，计算第二变换参数Tnew；步骤1.3.b，使用第二变换参数Tnew对待配准图像I_sen进行变换，得到变换后的图像TI_sen，其中TI_sen＝I_sen*Tnew；步骤1.3.c，对参考图像I_ref的某一区域通过高斯滤波进行带通纹理信息提取得到BP_ref：BP_ref＝Gauss(δ₁)*I_ref‑Gauss(δ₂)*I_ref；对变换后图像TI_sen的某一区域通过高斯滤波进行带通纹理信息提取得到BP_sen：BP_sen＝Gauss(δ₁)*TI_sen‑Gauss(δ₂)*TI_sen；步骤1.3.d，计算BP_ref和BP_sen的相关系数Corr，并确定最终的平移变换参数Tran_xf和Tran_yf；步骤1.3.e，输出第一变换参数Tfin步骤2，将可见光图像从彩色空间变换到HSI空间，并提取I分量；步骤3，通过FAMBED分解算法将可见光图像的I分量、变换后的红外图像分解到不同的频率层上；FAMBED分解可见光包括以下步骤：步骤3.1，将可见光图像IV提取出的I分量赋给初始图像IVI，并按照滤波器窗口的大小确定统计次序；步骤3.2，对初始图像IVI进行最大/小滤波，并平滑，获得极大/小包络曲面U_E和L_E，并且获得平均包络曲面M_E；步骤3.3，将初始图像IVI与平均包络曲面M_E差分得到第一层高频分量IMF₁，并将平均包络曲面M_E传回输入端；步骤3.4，重复步骤3.1‑3.3，获得第二层高频分量IMF₂、第三层高频分量IMF₃和低频分量Residue；步骤4，对分解的频率层进行融合处理，其中低频图像层采用加权平均融合，高频图像层采用分解值的最大化加权融合；步骤5，通过FAMBED重构以及HSI逆变换，获得融合图像。