[发明专利]一种基于整数DCT变换的实时图像融合方法

说明书

本发明公开了一种基于整数DCT变换的实时图像融合方法，包括如下步骤：a、分别对红外图像和可见光图像亮度分量进行整数DCT量化以及融合,根据预设的融合规则对红外图像和可见光图像的亮度分量的整数DCT变换系数进行融合处理；对融合后的变换系数进行整数DCT反变量化，得到融合后的灰度图像；b、采用深度学习神经网络语义识别进行场景识别；c、选取最佳的场景参考图像对灰度融合图像进行色彩传递，生成彩色融合图像；d、将生成的彩色融合图像在RGB色域内进行彩色直方图匹配处理。

技术领域

本发明涉及图像融合处理技术领域，特别是一种基于整数DCT变换的实时图像融合方法。

背景技术

图像融合可明显改善单一传感器图像的不足，所得融合图像蕴含了多个传感器图像的不同信息特征，具有比单一传感器图像更全面更为可靠的信息描述，红外与可见光图像融合一直是图像融合研究的热点，在军事侦查、安全监控等领域有着广泛的需求和应用。

目前的一些融合方法大多以小波变换进行多分辨率分解，往往需要进行多层分解，才可能取得比较好的效果，实时性不能满足要求。

目前离散余弦变换(Discrete Cosine Transform，简称DCT变换)被广泛应用于图像和视频压缩。DCT变换的变换核是余弦函数，变换核各矢量间单位正交，它的变换系数可以很好的描述图像的相关特征。浮点DCT变换的正变换和反变换因为一些量化损失等原因而变得不可逆。因此在最新的压缩标准如H.264、H.265等标准中都采用整数DCT变换。整数DCT变换的正变换和反变换具有可逆性并且最大可能的保持与浮点DCT变换的一致性。

整数DCT变换原理如下：

8x8的浮点DCT变换为：

其中，C(1)…C(7)为1，

Y＝DXD^T，

其中，D是DCT变换矩阵，其值为：

所以，整个变换系数只有7个取值。

将浮点DCT变换矩阵D分解为整数矩阵P和浮点矩阵E，则

则整数DCT变换为：

其中PXP^T为整数DCT变换过程。而浮点矩阵E通过量化过程来完成。设整数变换矩阵P为：

其中i₀～i₆都是整数，则

其中，

d＝i₃(i₁+i₄)-i₂(i₁-i₄)，

由于要求正交性所以实际上是d为0。

另一方面，当前图像融合技术集中于对灰度图像的融合研究，已经取得了较好的融合效果，而少见有对于彩色图像融合的研究。由于彩色图像有着灰度图像无可比拟的良好可视性和更多的信息量，使得在各相关领域，特别是在生物和医学领域，无论是微观还是宏观方面对彩色图像融合技术的需要越来越迫切。