[发明专利]红外与可见光视频融合系统

权利要求书

1.一种红外与可见光视频融合系统，其特征在于包括特制解码器的云台（1），可见光视频图像采集模块（2），红外热像仪（3），电脑pc（4）；还包括：规定一种电脑串口和云台特制解码器的通信协议，采用一种新的红外与可见光视频融合处理流程。

2.权利要求1所述电脑串口与云台特制解码器的通信协议，其特征在于电脑对云台的直接串口控制过程中所采用的数据帧格式包括：帧头、标识码、控制字段、和校验码四个字段，其中帧头用于标记信息的开始：

标识码用于表示数据帧的类型，包括0x01H、0x02H两个值，当标识码为0x01H时表示云台转动控制，当标识码为0x02H时表示摄像头的聚焦控制；

控制字段用于表示不同标识码下对应的数据内容:当标识码为0x01H时，控制码为云台的控制信息；0x01H、0x02H、0x03H、0x04H、0x05H分别表示云台向上、向下、向左、向右和停止；当标识码为0x02H时，控制字段对应的是摄像头控制信息；帧头、标识码、控制字段、和校验码都为一个字节；

本协议的通信过程是单向的，即由电脑发送信息云台解码器接收，云台解码器无返回信息。

3.权利要求书1所述的一种新的红外与可见光视频融合处理流程，其特征在于：

S1、对图像进行预处理，计算配准参数；

S2、在控制软件界面中选择融合的算法；

S3、采用逐帧融合的方式进行视频帧图像融合，融合的图像保存在指定位置；

S4、融合后的图像一边保存，同时在pc的融合控制界面中显示。

4.权利要求3中S1的具体步骤为：

S10、通过两种摄像头分别采集一张可见光和红外热图像；

S11、对采集到的两帧图像分别进行预处理，对红外图像进行二维傅立叶变化，再进行高斯高通滤波，增强红外图像的高频部分，突出图像中的目标，对见光图像先进行小波去噪，滤去可见光摄像头产生的随机噪声，再进行直方图增强，增强图像的背景信息。

S12、采用一种特征点标记的算法，标记增强后的红外和可见光图像的特征点，并进行特征点匹配。在经过S20后的红外和可见光图像中选择特别突出的特征点进行手动标记，电脑记录下可见光标记点在图像平面中特征点的坐标A0(x0，y0)，通过一定的模型计算出标记点在实体空间中的坐标A1(x1,y1,z1)；电脑同时记录下红外热图像在平面中特征点的坐标B0(x0’,y0’)，通过一定的模型计算出标记点在实体空间中的坐标B1(x1’,y1’,z1’)；设选定A1，寻址B1，若出现有一点B1使Smin=|B1-A1|=(x1′-x1)2-(y1′-x1)2-(z1′-x1)2≤a+λ,]]>a为两摄像头镜头中心点的距离，λ为可变调节阈值，则认定此B1点与相应的A1点匹配，记录下保存此两点的平面坐标B0、A0作为一组匹配点；

S13、通过匹配成功的特征点，在仿射模型下求出图像配准的参数。