[发明专利]一种深度图像与红外图像的图像融合方法及装置

权利要求书

1.一种深度图像与红外图像的图像融合方法，其特征在于，包括以下步骤：

步骤1：通过红外传感器和TOF深度传感器分别获取红外图像以及深度图像；

步骤2：基于深度图像中的深度信息提取场景、目标物体的边缘轮廓信息；

步骤3：对深度图像与红外图像分别以结合了W系统的经验模态分解算法W-BEMD对图像进行多尺度分解，利用融合规则进行融合得初步融合结果，具体包括：

步骤3.1：对深度图像/红外图像进行一次经验模态分解，分别得到一幅代表高频细节信息的内蕴模函数和一幅代表低频轮廓信息的残差图像；分别对上述所得的残差图像进行一次W变换，对W变换所得结果的低频四分之一做低一级尺度的W逆变换，此时逆变换结果为原残差图像四分之一大小，且包含了残差图像的低频轮廓信息，以此作为新的残差图像；将新的残差图像进行插值膨胀为原残差图像大小，与原残差图像做差，所得结果为原图像大小，将其与初次经验模态分解所得内蕴模函数求和，所得结果作为新的内蕴模函数；

步骤3.2：对所述步骤3.1中所得的深度图像与红外图像的残差图像分别计算局部可见度，并归一化，之后计算定义的匹配度；两幅残差图像的每一个像素点对应位置，若匹配度大于给定阈值，则采取取大规则计算融合后残差图像对应点处的灰度值；若匹配度不大于给定阈值，则将上述归一化之后的局部可见度作为权重，采取加权平均方法计算融合后残差图像对应点处的灰度值，从而求得融合后残差图像；对所述步骤3.1中所得的深度图像与红外图像的内蕴模函数分别计算区域能量值以及对应位置的区域能量匹配度；两幅内蕴模函数图像的每一个像素点对应位置，若区域能量匹配度大于给定阈值，则采取取大规则计算融合后内蕴模函数对应点处的灰度值；若匹配度不大于给定阈值，则采取加权平均方法计算融合后内蕴模函数对应点处的灰度值，从而求得融合后内蕴模函数对应图像；

步骤3.3：对所述步骤3.2中所得的融合后残差图像应进行简单插值膨胀为原大小；将插值膨胀后的残差图像与所述步骤3.2所得的融合后内蕴模函数对应图像简单求和，即可得到初步的融合结果；步骤4：对初步融合结果进行多尺度分解，同时将边缘轮廓图像进行多尺度分解，分别对应于初步融合结果的若干高频分量，然后对边缘轮廓图像的高频分量和初步融合结果的高频分量进行融合，最后进行对应的多尺度逆变换，得最终融合结果。

2.根据权利要求1所述的一种深度图像与红外图像的图像融合方法，其特征在于，在所述步骤2中，基于深度图像中的深度信息提取场景、目标物体及目标物体各组成部分的边缘轮廓信息。

3.根据权利要求1或2所述的一种深度图像与红外图像的图像融合方法，其特征在于，在所述步骤2中，根据深度传感器所得场景中各点的深度数据的差异，赋予各点不同的灰度值，从而得到由深度信息转化而来的灰度图像；对上述灰度图像进行边缘轮廓的提取。

4.根据权利要求3所述的一种深度图像与红外图像的图像融合方法，其特征在于，对上述灰度图像进行边缘轮廓的提取的具体步骤为：

(1)对灰度图像进行L层小波分解，得到源图像的低频近似子图像及高频细节子图像；

(2)对低频近似子图像选用经典Canny算子进行边缘提取，得到低频子图像的边缘；对高频细节子图像应用B样条小波进行边缘检测，得到高频子图像的边缘；

(3)将图像低频部分边缘与高频部分提取出的边缘进行融合；

(4)从而得到边缘轮廓图像。

5.根据权利要求4所述的一种深度图像与红外图像的图像融合方法，其特征在于，在将图像低频部分边缘与高频部分提取出的边缘进行融合中，以高频边缘来判断低频边缘，具体方法为：对于高频部分检测出的边缘进行形态学膨胀，掩模大小由小波变换尺度而定，膨胀后的边缘记为待检测区域；在低频子图像的边缘部分，对应于高频待检测区域的像素值若满足连贯性要求则记为边缘点。