[发明专利]一种基于微光和红外传感器的图像融合系统

摘要

本发明涉及一种基于微光和红外传感器的图像融合系统，分为微光和红外传感器信息采集模块，FPGA核心处理模块，DSP协处理模块和输出显示模块；外部的微光与红外传感器采集的视频图像经过接口输入到装置中；输入视频图像进行图像的预处理：包括图像去噪声、图像增强和图像配准，其中图像去噪声和图像增强处理，要求延时较低，在FPGA芯片中实现，图像配准算法需要的计算量较大，在DSP芯片中实现；经过预处理后的视频图像通过FPGA芯片进行融合，包括灰度融合和伪彩色融合；FPGA控制逻辑可以选择一路图像通过接口输出：单微光视频、单红外视频、灰度融合视频和伪彩色融合视频。本发明实现了高精度，低延迟和扩展性好的图像融合系统，对于夜间的观测、探查应用有重要实践意义。

主权项

1.一种基于微光和红外传感器的图像融合系统，其特征在于：包括微光和红外传感器采集模块、FPGA核心处理模块、DSP协处理模块和输出显示模块；微光和红外传感器分别采集微光和红外视频图像经过输入接口后进行预处理，所述预处理过程包括图像去噪、图像增强和图像配准：FPGA核心处理模块对输入的微光和红外视频图像进行实时去噪声和图像增强；DSP协处理模块对完成去噪、增强的视频图像进行配准参数计算，通过初始配准和实时配准相结合的方法，利用DSP求出微光视频图像和红外视频图像之间的相对尺度、旋转和平移参数变化关系；其中，初始配准方法计算尺度和旋转参数，实时配准利用互信息方法，调整平移参数；DSP协处理模块完成配准参数计算后，将配准参数传输给FPGA核心处理模块，通过FPGA核心处理模块实现微光视频图像和红外视频图像间的变换以及融合，得到最终的融合输出图像；所述视频图像融合算法包括灰度融合算法或伪彩色融合算法；最后通过输出显示模块进行输出，所述输出在下面4个状态中切换，包括：微光单通路视频图像、红外单通路视频图像、灰度融合输出视频图像、伪彩色视频输出视频图像；所述灰度融合算法采用拉普拉斯金字塔融合方法；所述拉普拉斯金字塔融合方法具体实现为：第一步，对输入的微光视频图像进行N层拉普拉斯金字塔分解，原始的输入微光视频图像为G₀，通过递推的方法求出拉普拉斯金字塔LP₁，LP₂，…，LP_N，记作LP_{1_N}，递推公式如下：其中，G_l是原始的输入微光视频图像G₀经过l次下采样得到的；是通过对插值图像经过高斯滤波后得到的：其中m，n是输入的微光视频图像的水平和垂直方向的位置信息，ω(m，n)为高斯卷积核的参数，是将第(l+1)层的图像G_l+1通过补零插值放大到和第l层图像G_l相同尺度得到的，插值公式为：当0≤l＜N‑1，则由此构造出的微光拉普拉斯金字塔，记作第二步，对输入的红外视频图像利用相同的方法进行N层拉普拉斯金字塔分解，构造出的红外拉普拉斯金字塔，记作第三步，通过将微光和红外拉普拉斯金字塔的各层信息叠加得到融合后图像的拉普拉斯金字塔记作其中，ω_W，ω_H分别是微光拉普拉斯金字塔和红外拉普拉斯金字塔的融合系数；第四步，利用拉普拉斯金字塔重构的方法，已知融合图像各层的拉普拉斯金字塔利用自顶向下的递推方法得到最终拉普拉斯金字塔的融合结果其中是利用自顶向下的方法构建出的第l层融合后图像，是插值后融合图像经过高斯滤波得到的结果。