[发明专利]结合改进NSCT变换和深度学习的红外与可见光图像融合方法

权利要求书

1.一种结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于，包括以下步骤：

1)图像分解

采用改进型非下采样轮廓波变换NSCT，对待融合的红外图像A与可见光图像B分别进行多个尺度、方向的分解，获取多个红外低频子带图像、红外高频子带图像、可见光低频子带图像和可见光高频子带图像；

所述改进型非下采样轮廓波变换NSCT为采用融合滤波器组的NSCT变换；所述融合滤波器组通过分别卷积不同尺度和不同方向的滤波器获得；

2)融合权重获取

基于深度学习方式，获取红外融合权重与可见光融合权重；

3)图像融合与重构

3.1)利用步骤2)获取的红外融合权重与可见光融合权重，对步骤1)所得红外低频子带图像与可见光低频子带图像进行融合，得到低频子带融合图像，对红外高频子带图像与可见光高频子带图像进行融合，得到高频子带融合图像；

3.2)利用改进型非下采样轮廓波变换NSCT，对低频子带融合图像与高频子带融合图像进行重构，最终得到待融合红外图像A与可见光图像B融合后的图像。

2.根据权利要求1所述的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于：

步骤1)中，所述改进型非下采样轮廓波变换NSCT采用双层滤波器组结构，第一层为非下采样金字塔多尺度滤波器组NSPFB，第二层为非下采样方向滤波器组NSDFB。

3.根据权利要求2所述的结合改进NSCT变换和深度学习的红外与可见光图像融合方法，其特征在于：

步骤1)中，所述非下采样金字塔滤波器组NSPFB的低通滤波器包括低通分解滤波器和低通重构滤波器{H₀(X),H₁(X)}，非下采样金字塔滤波器组NSPFB的高通滤波器包括高通分解滤波器和高通重构滤波器{G₀(X),G₁(X)}，非下采样金字塔滤波器组NSPFB满足Bezout恒等式的1D多项式函数：

所述非下采样方向滤波器组NSDFB的扇形滤波器包括扇形分解滤波器和扇形重构滤波器{U₀(X),U₁(X)}，非下采样方向滤波器组NSDFB的棋盘滤波器包括棋盘分解滤波器和棋盘重构滤波器{V₀(X),V₁(X)}，非下采样方向滤波器组NSDFB满足Bezout恒等式的1D多项式函数，用f(x)替换X：

所述融合滤波器组为：

F(z)＝H₀(X_i)*G₀(X_i)*U₀(X_i)*V₀(X_i)

其中，H₀(X_i)为NSPFB低通分解滤波器集合{H₀(X)}中的一个低通分解滤波器；G₀(X_i)为NSPFB高通分解滤波器集合{G₀(X)}中的一个高通分解滤波器；U₀(X_i)为NSDFB扇形分解滤波器集合{U₀(X)}中的一个扇形分解滤波器；V₀(X_i)为棋盘分解滤波器集合{V₀(X)}中的一个棋盘分解滤波器。