[发明专利]一种基于外同步曝光的异源视频融合方法及系统

权利要求书

1.一种基于外同步曝光的异源视频融合方法，其特征在于，包括：

定时触发成像：通过外部定时器间隔一定频率向可见光相机和红外相机同时发送成像指令，输出可见光图像和红外图像，并将此刻时码填入图像首行最后32个像素；

图像采集：采集可见光相机和红外相机输出的可见光图像和红外图像，并读取图像右上角时码，使时码与该图像帧一一对应；

时间对齐：通过缓存红外图像，利用可见光时码查找红外对应图像，实现时间对齐；

空间对齐：采用机械对准和动态补偿的方式，确定可见光和红外相机之间的旋转角度及不同视场下的偏移量，进行空间对齐；

图像融合：对可见光图像和红外图像进行小波变换及多尺度分解，提取可见光图像和红外图像各自的低频及高频分量并进行融合，然后进行小波逆变换，获得时域融合图像。

2.根据权利要求1所述的一种基于外同步曝光的异源视频融合方法，其特征在于，定时触发过程包括如下步骤：

步骤1-1：定时器发送含有时码的成像指令；

步骤1-2：相机开始成像，生成YUV420格式的图像帧；

步骤1-3：将时码写入图像Y分量右上角32个像素，每个像素代表时码的一个比特；

步骤1-4：通过MIPI或SDI接口输出图像帧；

步骤1-5：等待定时器发出的成像指令，然后循环执行以上四个步骤。

3.根据权利要求2所述的一种基于外同步曝光的异源视频融合方法，其特征在于，图像采集过程包括如下步骤：

步骤2-1：采集图像信号；

步骤2-2：根据时码填充逻辑将时码恢复，将像素二进制表示时1的个数多少作为判据，若大于等于4，则时码的该位为1，否则为0；

步骤2-3：将时码和数据打包一起发送给视频融合模块用于实现时间对齐。

4.根据权利要求1所述的一种基于外同步曝光的异源视频融合方法，其特征在于，时间对齐过程包括如下步骤：

步骤3-1：当视频融合模块收到红外图像后，将时码作为键，数据作为值，形成键值对，将时码作为索引查找对应图像数据，同时记录当前时刻，作为红外图像最后一次到达的时间；

步骤3-2：如果视频融合模块收到可见光图像，读取可见光图像帧时码，以该时码查找红外图像数据，若能找到红外图像数据，则进行融合，并将比当前时码小的红外图像缓存回收；若找不到红外图像数据，查看红外图像最后一次到达的时间，若超过100ms无数据，表示红外图像异常，不进行融合，否则用最新的红外图像进行融合，最后将缓存的其他红外图像数据回收。

5.根据权利要求1所述的一种基于外同步曝光的异源视频融合方法，其特征在于，空间对齐过程包括如下步骤：

步骤4-1：视频融合模块开启融合模式，调节可见光至最小视场，此时视场联动自动开启，红外自动变化视场，确保可见光与红外垂直视场角保持一致；

步骤4-2：将可见光对准平行光管，平行光管所采用靶标为十字靶标，调整红外图像旋转角度，确保图像中十字靶标平行，记录角度；

步骤4-3：修改红外图像下的十字靶标在可见光图像下的位置，确保十字靶标中心完全对齐，记录当前焦距值、X方向偏移量及Y方向偏移量；

步骤4-4：调整可见光焦距，分段增大视场，记录当前焦距值、X方向偏移量及Y方向偏移量，直至最大视场为止；

步骤4-5：在步骤4-3记录的数据中，根据当前焦距值f查找XY偏移量，若查找失败，则进行线性插值计算当前焦距对应的偏移量，从而补偿可见光和红外图像偏移达到空间对齐。