[发明专利]一种基于梯度感知的多聚焦图像融合方法

说明书

本发明提供一种基于梯度感知的多聚焦图像融合方法，属于图像处理及人工智能领域。所述方法包括：获取多对待融合图像及其标注组成训练集；其中，每对待融合图像指两张同一场景下已配准的具有不同聚焦区域的图像；构建图像融合模型；利用得到的训练集，采用基于梯度感知的损失函数训练所述图像融合模型；采用训练好的所述图像融合模型对新的待融合图像进行图像融合。采用本发明，能够在去除复杂的后处理操作的同时，提高融合结果的质量。

技术领域

本发明涉及图像处理及人工智能领域，特别涉及是指一种基于梯度感知的多聚焦图像融合方法。

背景技术

近年来，多聚焦图像融合是图像融合领域里的一个重要研究分支，在科研、军事、医疗、数码摄像等领域都发挥着重要的作用。由于光学传感器的固有特性，使得单次拍摄只能保证在对焦区域内的目标区域呈现清晰的像，其他区域呈现模糊的像，所以很难在一个镜头内将深度距离相差很大的物体全部聚焦。在实际应用中，往往采用多聚焦图像融合方法通过融合具有不同聚焦区域的多张图像来获得最终的全聚焦图像。

随着深度学习技术在图像处理和多聚焦图像融合领域取得了巨大的成功。Liu等人利用卷积神经网络来进行多聚焦图像融合[Liu Y,Chen X,Peng H,Wang Z.Multi-focusimage fusion with a deep convolutional neural network[J].Information Fusion,2017,36:191-207]，利用卷积神经网络复杂的非线性映射以及网络能够自己学习任务参数的特点解决了传统方法中人为设计活动性水平评估方法以及图像融合策略较为困难的问题。但是该算法引入了小区域移除策略等后处理操作来对预测得到的决策图进行矫正，这不但引入了较多难调节的超参数，而且由于后处理操作的不可导，导致算法无法进行端到端训练，降低了算法对于不同场景下图像融合的泛化性。Zhang等人通过引入编码器-解码器结构的全卷积网络来进行图像融合[Zhang Y,Liu Y,Sun P,Yan H,Zhao X,ZhangL.IFCNN:A general image fusion framework based on convolutional neuralnetwork[J].Information Fusion,2020,54:99-118]，去掉了复杂的后处理操作使算法实现了端到端的训练。但是由于解码器部分的非线性特性，导致其很难准确地重构融合结果。

在多聚焦图像融合任务中待融合图像梯度信息直接反映了其聚焦程度信息，聚焦区域往往具有相对较高梯度滤波响应而失焦区域往往具有相对较低梯度滤波响应。但现有的许多深度学习方法大多使用L2范数以及结构相似性(Structural Similarity，SSIM)来设计损失函数，没有考虑到约束融合图像对与待融合图像梯度信息的保留程度，致使融合效果不佳。

发明内容

本发明实施例提供了基于梯度感知的多聚焦图像融合方法，能够在去除复杂的后处理操作的同时，提高融合结果的质量。所述技术方案如下：

一方面，提供了一种基于梯度感知的多聚焦图像融合方法，该方法应用于电子设备，该方法包括：

获取多对待融合图像及其标注组成训练集；其中，每对待融合图像指两张同一场景下已配准的具有不同聚焦区域的图像；

构建图像融合模型；

利用得到的训练集，采用基于梯度感知的损失函数训练所述图像融合模型；

采用训练好的所述图像融合模型对新的待融合图像进行图像融合。

进一步地，所述获取多对待融合图像及其标注组成训练集包括：

按照人工标注图像的前景和背景区域划分，对原始图像的前景和背景区域进行随机模糊，得到原始图像的全失焦图像；其中，人工标注图像为真值决策图；