[发明专利]一种红外视频和可见光视频自适应融合方法

说明书

本发明提出了一种红外视频和可见光视频自适应融合方法。该方法对视频进行逐帧融合，每帧融合都包括三个部分：第一，分别利用引导滤波将红外视频帧与可见光视频帧分解为基本层和细节层；第二，对于红外视频中的基本层，利用当前场景的灰度分布模型，自适应地计算红外基本层的权重图。对于可见光视频中的基本层，根据可见光视频的质量，自适应采用不同方法生成可见光基本层的权重图。利用加权平均法融合红外和可见光的基本层；第三，利用融合后的基本层和可见光帧的细节层，重构图像。该方法能够获得较好的融合结果，同时能够应用于实时的视频融合中。

技术领域

本发明涉及一种视频融合方法，尤其涉及一种自适应的红外与可见光视频方法，属于视频图像处理领域。

背景技术

视频监控具有数据量大，冗余度高的特点，因此在实际的视频分析处理时会浪费许多人力和工作量。红外视频与可见光视频作为两类常用的监控视频类型，具有不同的特点和应用场景。例如，在白天可见光视频质量较好，而红外视频分辨率较低，细节表现能力较差；在夜晚可见光视频受光照影响质量较差，但是红外视频在夜晚则不受影响。基于以上红外视频和可见光视频的互补性，视频融合技术成为了近年来新兴的研究方向。

红外视频与可见光视频融合就是将同一场景同一时间下的红外视频和可见光视频通过特定的准则进行融合，最终得到一段融合视频。融合视频可以对当前场景提供更全面的描述，因此有利于人眼观察和机器分析。从融合的方式来讲，当前融合技术主要分为两大类：基于整段视频的融合和基于帧的融合。

基于整段视频的融合主要使用3D(Three-dimensional)多分辨率变换，例如3D曲波变换或3D轮廓波变换。3D多分辨率基于传统的2D多分辨率变换，只是额外增加了一个时间维度。这种方法有以下缺点：首先，必须对整段视频做3D变换之后，再进行后续处理，这表明此方法不适用于视频的实时融合，只可以进行离线的视频融合；第二，3D变换的时间复杂度高，计算复杂。

基于帧的融合是对两段视频逐帧进行融合。这种方法与图像融合的方法类似，包括空间域融合和变换域融合。空间域融合是在空间域设计某些准则对源图像进行融合。这种方法的优势是其可以充分保留原图像的纹理细节信息，但是在某些情况下会导致图像局部过亮或颜色不均衡的现象。因为这类算法仅仅关注某一些准则的最大化，而缺乏对图像空间一致性的考虑。基于数学优化的融合方法，如马尔科夫随机场或广义随机游走算法，可以很好地保留源图像的纹理细节信息，同时能保持图像空间一致性，但是这种方法需要经过多次迭代才能获得全局最优解，导致效率十分低下。变换域融合通常是将源图像进行某种变化，在变换域涉及某些准则进行融合，最后将融合后的结果经过反变化得到融合的图像。变换域的选择很多，常见的变换域包括小波，曲波和轮廓波等。

红外视频与可见光视频的融合作为视频领域的重要分支，具有互补性强，应用范围广等特点。红外视频通常是灰度图像，其成像机理是靠空间上某点的温度成像，即空间某点温度越高，所成像的灰度值越大。但是由于红外传感器的技术原因，红外视频的分辨率相对于可见光视频而言较低，且纹理细节特征不丰富。可见光视频通常是彩色图像，其成像机理是通过可见光在物体表面的反射成像。通常可见光视频的纹理细节丰富，但是在某些低光照的恶劣环境下，如夜晚或者雾天，可见光成像质量很差。

基于上述红外传感器与可见光传感器的特性与成像机理分析可以看出，红外视频与可见光视频的融合与其余融合的策略有很大不同。现有的融合方法，一般将图像的对比度选取为融合准则，融合的目的是使融合结果能够保留源图像所有的纹理细节，进而最大限度保存所有源图像的信息。现有方法不将红外视频与可见光视频融合与其余类型融合进行区分，因此有以下两方面问题。一方面，不能正确保留红外视频中的热目标。在红外图像中，最有价值的热目标信息保存在低频的灰度信息中，并且热目标的温度与当前环境温度有关，因此在融合红外视频时需要自适应考虑红外中环境温度。另一方面，不能对可见光视频中的纹理信息做出判断。虽然在正常情况下可见光视频中纹理细节信息丰富，但是在恶劣环境中的可见光成像结果，其纹理细节部分缺失，提取出的纹理细节存在很多噪声信息，因此在融合可见光视频时还需自适应考虑可见光图像的质量。