[发明专利]一种基于外同步曝光的异源视频融合方法及系统

说明书

本发明涉及一种基于外同步曝光的异源视频融合方法，属于无人机光电侦察技术领域。包括：定时触发成像；图像采集；时间对齐：通过缓存红外图像，利用可见光时码查找红外对应图像，实现时间对齐；空间对齐：采用机械对准和动态补偿的方式，确定可见光和红外相机之间的旋转角度及不同视场下的偏移量，进行空间对齐；图像融合：计算可见光图像和红外图像的小波变换进行多尺度分解，提取各自低频及高频分量进行融合，然后进行小波逆变换，获得时域融合图像。本发明实现图像融合，使可见光和红外相机同时成像，确保了异源图像的同时性。

技术领域

本发明涉及一种基于外同步曝光的异源视频融合方法，属于无人机光电侦察技术领域。

背景技术

为实现对目标场景的昼夜侦察，光电侦察平台一般装载了可见光成像系统和红外成像系统，因传感器自身物理特性、成像机理等存在差别，可以充分利用不同传感器所采集到的图像信息进行侦察处理，实现对同一场景的多维度描述和表达，因此视频融合技术得以快速发展。

在普通PC上，视频融合效果及性能都能达到较好的效果，但对于无人机侦察技术领域，受限于机载端体积小、功耗低、运算快等限制，要实现较好的图像融合效果存在一定的难度。

普通嵌入式平台实现图像特征提取与匹配算法实时性难以满足要求；当场景特征不够丰富时，融合效果变差，不满足要求；当光电侦察平台与目标发生相对运动或其自身抖动时，由于图像采集与传输等时延，若无较好的图像处理算法实现场景对齐，则重影现象严重，融合效果很差。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提出一种基于外同步曝光的异源视频融合方法，通过定时器定时触发可见光相机和红外相机曝光，将曝光时刻所对应的时码叠加到图像数据中，图像数据经采集、传输到达视频融合模块，根据图像时码将可见光和红外图像帧进行时间对齐，通过提前标定或特征提取与匹配方式，得到两幅图像间的变换关系，使两者在空间上对齐，实现图像融合。

本发明的技术解决方案：

一种基于外同步曝光的异源视频融合方法，包括如下步骤：

步骤1：定时触发成像：通过外部定时器间隔一定频率向可见光相机和红外相机同时发送成像指令，输出YUV420格式图像帧，并将此刻时码填入图像首行最后32个像素；

步骤2：图像采集：通过图像采集模块采集可见光相机和红外相机输出的YUV420格式图像帧，并读取图像右上角时码，使时码与该图像帧一一对应；

步骤3：时间对齐：通过缓存红外图像，利用可见光时码查找红外对应图像，实现时间对齐；

步骤4：空间对齐：采用机械对准和动态补偿的方式，确定可见光和红外相机之间的旋转角度及不同视场下的偏移量，进行空间对齐；

步骤5：图像融合：计算可见光图像和红外图像的小波变换进行多尺度分解，提取各自低频及高频分量进行融合，然后进行小波逆变换，获得时域融合图像。

进一步的，步骤1的定时触发过程包括如下步骤：

步骤1-1：定时器发送含有时码的成像指令；

步骤1-2：相机开始成像，生成YUV420格式的图像帧；

步骤1-3：将时码写入图像Y分量右上角32个像素，每个像素代表时码的一个比特；

步骤1-4：通过MIPI或SDI接口输出图像帧；

步骤1-5：等待定时器发出的成像指令，然后循环执行以上四个步骤。

进一步的，步骤2的图像采集过程包括如下步骤：

步骤2-1：采集图像信号；