[发明专利]一种图像融合方法、装置及可读存储介质

说明书

本发明公开了一种图像融合方法、装置及可读存储介质，应用于图像处理技术领域，图像融合方法包括：首先得到配准后的第一图像和第二图像；经过卷积神经网络训练后分类输出第一得分图和第二得分图；对第一得分图和第二得分图的对应像素进行比较，得到二值图；得到第一融合图像；计算第一结构相似度图，以及计算第二结构相似度图；获得第一结构相似度图和第二结构相似度图的差异图；基于差异图、第一图像和第二图像，得到第二融合图像。应用本发明实施例，通过双通道卷积神经网络得到红外与可见光图像的融合图像，卷积神经网络作为深度学习的算法，可以自动选择图像特征，改善特征提取的单一性，避免了现有红外图像与可见光图像融合方法的缺陷。

技术领域

本发明涉及人图像融合技术领域，尤其涉及一种图像融合方法、装置及可读存储介质。

背景技术

红外传感器对目标区域的红外热特征敏感，它可以昼夜工作并克服光照的困难来发现目标，但是其往往缺乏丰富的细节信息，背景模糊；而可见光图像包含更为丰富的纹理特征和细节信息，但其成像条件对光照的要求较高。若将红外图像与可见光图像的互补信息进行有效融合，获得的融合图像信息更丰富、鲁棒性更强，为后续的图像分割、检测、识别奠定了良好的基础。因此红外和可见光图像融合技术被广泛应用于军事和安全监控领域。

图像融合分为：像素级、特征级和决策级。像素级的图像融合最为基础且融合的图像信息更丰富。基于多尺度变换(MST)和稀疏表示(SR)的图像融合方法是像素级图像融合方法中最普遍的方法，该类方法中图像特征提取器是需要手动设计的，运算效率低；同时提取到的单一的图像特征并非能很好的应用于各类复杂的图像环境，容易在灰度均匀的区域误判。

发明内容

本发明实施例的目的在于提供一种图像融合方法、装置及可读存储介质，通过双通道卷积神经网络得到红外与可见光图像的融合图像，卷积神经网络作为深度学习的算法，可以自动选择图像特征，改善特征提取的单一性，避免了现有红外图像与可见光图像融合方法的缺陷。具体技术方案如下：

为达到上述目的，本发明实施例提供了一种图像融合方法，包括：

对红外图像与可见光图像进行配准，得到配准后的第一图像和第二图像，其中，所述第一图像为所述红外图像中的部分图像、所述第二图像为可见光图像为所述可见光图像中的部分图像；

将所述第一图像和所述第二图像输入到训练好的卷积神经网络中，经过所述卷积神经网络训练后分类输出第一得分图和第二得分图；

对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图；

基于所述二值图、所述第一图像和所述第二图像，得到第一融合图像；

计算所述第一图像与所述第一融合图像的第一结构相似度图，以及计算第二图像与所述第一融合图像的第二结构相似度图；

获得所述第一结构相似度图和所述第二结构相似度图的差异图；

基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像。

一种实现方式中，所述对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图的步骤，包括：

针对所述第一得分图上的第一像素点，判断是否大于第二像素点的像素值，其中，所述第一像素点为所述第一得分图上的任意一个像素点，所述第二像素点为所述第二得分图上与所述第一像素点对应的像素点；

如果是，则在所述二值图上第三像素点的像素值为1；否则，第三像素点的像素值为0，其中，所述第三像素点为所述二值图上与所述第一像素点对应位置的像素点。

一种实现方式中，所述第一融合图像的具体表达公式为：

F₁(x,y)＝D₁(x,y)A(x,y)+(1-D₁(x,y)B(x,y))