[发明专利]红外与可见光视频融合系统

说明书

技术领域

本发明是一种视频融合系统，涉及图像处理领域，视频处理领域还有自动控制领域。具体涉及一种红外与可见光视频融合的方法和系统。

背景技术

不同传感器自身物理特性、成像机理和观察视角等各个方面的种种限制，单一的图像传感器往往不能够从场景中提取足够的信息，以致于很难甚至无法独立获得对一幅场景的全面描述。为了满足实际中的需要，充分利用多传感器的图像信息，各种图像融合技术快速发展起来。视频融合是一种以图像融合为基础的技术，将不同传感器捕获的视频帧，对同一时段的同一背景图像采用图像融合的方式进行融合，并最终将融合后的图像帧以视频的形式读出，即为视频融合的过程。

可见光图像是反射图像，高频成分多，在一定照度下能反映场景的细节，但照度不佳时的见光图像的对比度较低；红外图像是辐射图像，灰度由目标与背景的温差决定，不能反映真实的场景。单独使用可见光或红外图像均存在不足之处，当目标本身各部位温度变化较大或者背景热辐射特性较弱时，红外图像包含的目标或背景的细节信息较少，而可见光图像则可含丰富的细节信息；然而，在光线较暗或有少量烟、云、雾环境中，可见光图像质量较差，红外图像中的目标却依然清晰可辨。可见光图像和红外图像的融合就可以适应昼夜光线变换较大的情况，并具备一定的穿透能力，从而有效地综合和发掘各自的特征信息，增强场景理解，突出目标，有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。

图像融合作为一种综合处理多传感器图像数据的有效技术途径日益引起人们的重视，其应用范围已遍及军事、遥感、医学、安全监控等领域。视频融合也能在以上领域大有作为，视频的动态显示给人更直观的感觉，并能快速方便的发现背景中目标的变化，比静态图像显示的信息要丰富的多，因此也更具有优势。

视频融合以图像融合为基础，将摄像头采集的图像帧采取逐帧融合的方式进行融合，在各个领域有着广泛的应用，具有很高的实用价值和研究意义。目前的视频融合方法中存在计算效率低、实时性较差等问题。

发明内容

本发明提出一种视频融合的方法和装置，可以很方便的实现可见光与热图像视频的融合。提出一种电脑串口直接控制云台和摄像头转的技术方案，解决现有视频融合系统需要采集卡软件控制的弊端。整套装置不需要采集卡，采用电脑直接控制融合过程。本发明充分利用电脑的计算和显示能力，与同类发明相比尽可能减少了装置的数目和提高了融合及显示的速度。

本发明给出了一种具体的可见光与热图像视频融合方法。其特征在于直接将红外与可见光摄像头的输出连接电脑，减少中间环节，通过电脑的快速处理，加快了视频融合和输出显示的时间。将两个摄像头垂直固定在云台的同一位置上，采用有usb接口的摄像头，通过usb接口将两路视频直接输入电脑，云台控制的方式采用电脑串口输出数据控制，结构简单，实现方便。

云台采用有特制解码器的云台，通过电脑的串口，将控制信息传送给解码器，解码器解析控制信息，控制云台转动或者摄像头变焦。规定一种新的电脑与云台的通信协议。

系统控制界面采用vc++6.0编写，云台的运动控制及摄像头的变焦分别通过云台控制界面上的按钮来控制。很方便的实现云台的向上、向下、向左、向右控制及摄像头的变焦。规定一种电脑和云台的通信协议，其特征在于电脑对云台的直接串口控制过程中所采用的数据帧格式包括：帧头、标识码、控制字段、和校验码四个字段，其中帧头用于标记信息的开始：

标识码用于表示数据帧的类型，包括0x01H、0x02H两个值，当标识码为0x01H时表示云台转动控制，当标识码为0x02H时表示摄像头的聚焦控制；

控制字段用于表示不同标识码下对应的数据内容:当标识码为0x01H时，控制码为云台的控制信息；0x01H、0x02H、0x03H、0x04H、0x05H分别表示云台向上、向下、向左、向右和停止。当标识码为0x02H时，控制字段对应的是摄像头控制信息。

本发明给出了详细的数据帧格式，具体的控制在物理层上看就是电脑向云台发送相应的数据帧，然后云台做出响应动作。帧头、标识码、控制字段、和校验码都为一个字节。

红外和可见光摄像头的图像输入和显示均由opencv编写的代码进行控制，在vc++中安装和配置opencv工具，写代码的时候就可以轻松调用opencv的库函数来处理采集的图像帧。可以用代码来控制采集的视频帧的速率，摄像头的显示等。

整个系统的视频融合处理步骤为：

S1.同时采集一帧红外和可见光视频图像

S2.计算图像配准参数