[发明专利]基于高阶奇异值分解的多传感器视频融合方法

权利要求书

1.一种基于高阶奇异值分解的多传感器视频融合方法，包括如下步骤： 

(1)对输入的已经经过空间和时间配准的视频a和b，分别进行3D-ST变换，得到视频a的低通子带系数R_a(x,y,t)、带通子带系数C_a(x,y,t)和视频b的低通子带系数R_b(x,y,t)、带通子带系数C_b(x,y,t)： 

其中，(x,y)表示空间坐标，t表示时间坐标； 

(2)将视频a的带通子带系数C_a(x,y,t)和视频b的带通子带系数C_b(x,y,t)按如下方式构成一个四阶张量υ(x,y,t,n)： 

其中，n表示输入视频的个数，当n=1时，υ(x,y,t,n)=C_a(x,y,t)； 

                            当n=2时，υ(x,y,t,n)=C_b(x,y,t)； 

(3)对四阶张量υ(x,y,t,n)进行高阶奇异值分解，得到核心张量δ、x方向上的正交矩阵Q、y方向上的正交矩阵I、t方向上的正交矩阵G和n方向上的正交矩阵W； 

(4)将核心张量δ、方向x上的正交矩阵Q、方向y上的正交矩阵I和方向n上的正交矩阵W进行乘积运算，得到特征图像ζ(x,y,t,n)， 

其中，n表示输入视频的个数； 

(5)根据所述时间坐标t和输入视频的个数n的取值，对特征图像ζ(x,y,t,n)进行分类： 

当t=1，n=1时，则用特征图像ζ(x,y,t,n)表示输入视频a的空间几何特征背景图像ζ(x,y,1,1)； 

当t≠1，n=1时，则用特征图像ζ(x,y,t,n)表示输入视频a的时间运动特征图像ζ(x,y,t,1)； 

当t=1，n=2时，则用特征图像ζ(x,y,t,n)表示输入视频b的空间几何特征背景图 像ζ(x,y,1,2)； 

当t≠1，n=2时，则用特征图像ζ(x,y,t,n)表示输入视频b的时间运动特征图像ζ(x,y,t,2)； 

（6)对视频a的空间几何特征背景图像ζ(x,y,1,1)和视频b的空间几何特征背景图像ζ(x,y,1,2)，按照基于相似度选择和加权平均相结合的融合策略进行融合，获得融合空间几何特征图像V(x,y,1)； 

(7)对视频a的时间运动特征图像ζ(x,y,t,1)和视频b的时间运动特征图像ζ(x,y,t,2)，按照基于去噪和融合相结合的融合策略进行融合，获得融合时间运动特征图像Z(x,y,t)，t≠1； 

(8)对融合空间几何特征图像V(x,y,1)、融合时间运动特征图像Z(x,y,t)和t方向上的正交矩阵G，通过高阶奇异值分解重建获得融合带通方向子带系数C_f(x,y,t)； 

(9)对视频a的低通子带系数R_a(x,y,t)和视频b的低通子带系数R_b(x,y,t)，利用加权平均的融合策略进行组合，得到融合低通方向子带系数R_f(x,y,t)； 

(10)对融合带通方向子带系数C_f(x,y,t)和融合低通方向子带系数R_f(x,y,t)进行三维surfacelet变换的逆变换，得到融合后视频f。 

2.根据权利要求1所述的视频融合方法，其特征在于步骤（4）中所述通过乘积运算得到特征图像ζ(x,y,t,n)，按如下公式进行： 

ζ(x,y,t,n)=δ×₁Q×₂I×₄W 

其中，(x,y)表示空间坐标，t表示时间坐标，n表示输入视频的个数，δ表示核心张量、Q表示方向x上的正交矩阵、I表示方向y上的正交矩阵，W表示方向n上的正交矩阵。