[发明专利]基于高阶奇异值分解的多传感器视频融合方法

说明书

技术领域

本发明涉及视频图像处理领域，特别涉及传感器的视频融合方法，该方法能够在噪声环境下多传感器视频图像融合过程中很好地提取时空特征信息并且抑制噪声，可用于目标跟踪和检测。

背景技术

图像和视频融合是信息和数据融合的一个特殊领域，通过图像或视频融合，将原图像或视频之间的“冗余”和“互补”信息提取出来，得到一个融合的图像或视频，融合后的图像或视频比单一的输入图像或视频更能精确地描述场景。目前，现有的视频图像融合技术主要是针对干净视频图像而设计的，且主要在融合算法的时空信息提取、时空一致性和稳定性方面进行提高，如基于三维多尺度变换的融合方法相对逐帧的融合方法就在时空特征提取和时空一致性方面有很大提高，例如，西安电子科技大学申请的专利“基于Surfacelet变换的红外与可见光视频图像融合方法”（申请号：CN201010172719.5，申请公开号：CN101873440A）中公开的一种红外与可见光视频图像融合的方法。相对于静态图像，视频通常含有各种特征，现有视频融合技术未能将这些特征进行区别对待且未利用不同的融合规则将不同特征进行融合，故融合性能不是很好。但是，大多数情况下，视频在获取过程中很容易受到噪声的影响，现有针对含噪声的视频融合算法一般是在融合之前先进行去噪处理，然后再进行融合。但这样做容易导致有用信息在去噪过程中被处理掉，造成信息丢失，或者噪声被作为有效显著性特征错误地保留到融合视频中。也有人尝试基于一些统计模型来进行图像融合，例如A.Loza,D.Bull,et al.,Non-Gaussian model-based fusion of noisy images in the wavelet domain,Computer Vision and Image Understanding114(2012)54-65.文献提出两种通过各向同性的二值拉普拉斯分布函数和阿尔法静态分布函数来模拟小波系数的噪声环境下图像融合方法。S.F.Yin,L.C.Cao,et al.,Fusion of noisy infrared and visible images based on anisotropic bivariate shrinkage,Infrared Physics&Technology 54(2011)13-20.文献提出一种通过各向异性的二值拉普拉斯分布函数来模拟小波系数的噪声环境下图像融合方法。这些方法虽在一定程度上能够解决噪声环境下图像融合中噪声被作为有效显著特征而被传递到融合中的问题，但是，为了得到更好的融合性能，这些方法的使用需要更为精确的小波系数统计模型和参数估计方法，而在实际操作中，很难得到理论上所要求的那样精确的小波系数统计模型和参数估计方法，也就是，利用这些方法无法得到更好的融合性能，且上述方法操作复杂。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于高阶奇异值分解的多传感器视频融合方法，以简化抑噪过程，提高融合性能。

实现本发明的关键技术思路是，在surfacelet变换域中，利用输入视频的子带系数构建一个四阶的视频张量，利用高阶奇异值分解HOSVD，将视频图像中的空间几何特征、时间特征和噪声有效地区分开来，从而在融合过程中能够有效提取时空特征，且有效地抑制掉噪声。其具体实现步骤如下：

(1)对输入的已经经过空间和时间配准的视频a和b，分别进行3D-ST变换，得到视频a的低通子带系数R_a(x,y,t)、带通子带系数C_a(x,y,t)和视频b的低通子带系数R_b(x,y,t)、带通子带系数C_b(x,y,t)：

其中，(x,y)表示空间坐标，t表示时间坐标；

（2)将视频a的带通子带系数C_a(x,y,t)和视频b的带通子带系数C_b(x,y,t)按如下方式构成一个四阶张量υ(x,y,t,n)：

其中，n表示输入视频的个数，当n=1时，υ(x,y,t,n)=C_a(x,y,t)；

                           当n=2时，υ(x,y,t,n)=C_b(x,y,t)；

(3)对四阶张量ν进行高阶奇异值分解，得到核心张量δ、x方向上的正交矩阵Q、y方向上的正交矩阵I、t方向上的正交矩阵G和n方向上的正交矩阵W；