[发明专利]一种基于多尺度特征交互网络的多聚焦图像融合方法

说明书

本发明公开了一种基于多尺度特征交互网络的多聚焦图像融合方法，其步骤包括：1，将一对彩色多聚焦源图像进行通道连接并输入到设计的多尺度特征交互网络(MSFIN)以生成表示像素聚焦属性的聚焦图；2，对聚焦图进行二值化(即高于阈值的像素值设为1，反之记为0)得到初始决策图，并采用全连接条件随机场(FC‑CRF)细化初始决策图，以去除一些误分类的小区域，得到最终决策图；3，基于细化后的最终决策图，采用像素加权平均策略获得融合图像。本发明能有效地融合具有不同聚焦区域的图像，为多聚焦图像的融合提高一种新的解决方案，使融合图像包含增强的空间信息，有助于信息传输和图像处理。

技术领域

本发明属于多聚焦图像融合的技术领域，具体涉及一种基于多尺度特征交互网络的多聚焦图像融合方法。

背景技术

随着传感器和计算机技术的快速发展，数字图像作为这些新型科技的产物，逐渐渗透到人们的生活之中，并且成为人类获取信息的主要来源之一。因此，丰富图像的信息量，提升图像的视觉效果，能为后续图像处理奠定良好基础。由于光学镜头的景深有限，使得相机难以在同一场景中清晰地捕捉到所有的物体。具体来说，在景深(DOF)范围内的物体被快速捕获，而其他物体在景深(DOF)之外被模糊。多聚焦图像融合技术能将同一场景不同焦距设置的多幅图像融合为全聚焦图像，融合后的图像能尽可能保留源图像中的内容和细节。目前，多聚焦图像融合算法主要分为三类：基于变换域的方法和基于空间域的方法。

基于变换域的方法通常是通过图像分解或表示方法将源图像从空间域变换到变换域，然后根据特定的融合策略对不同源图像的变换系数进行融合。最后对融合后的全聚焦图像进行逆变换重建。例如，近几十年来提出了许多基于多尺度分解(MSD)的方法，基于稀疏表示(SR)的方法，基于梯度域(GD)的方法等。该方法得到的融合图像更接近人类视觉系统，更自然的视觉效果。然而，在变换过程中容易引入像素强度误差，降低融合结果的清晰度。

基于空间域的方法通常是在空间域提取源图像的特征，直接测量源图像的活动水平。然后，根据计算得到的活动级测度，选择合适的融合规则生成聚焦图，确定每个像素点的聚焦属性(即聚焦或模糊)。基于决策图从源图像中选择相应的像素，最终得到融合图像。根据融合算法的基本处理单元，该方法又可分为基于块的方法、基于区域的方法、基于像素的方法。与前一类方法相比，此类方法可以最大限度地保留原始的焦点信息，获得清晰的融合图像。然而，对目标边界的不准确检测可能会在其周围引入不良伪影。

发明内容

本发明为克服上述现有技术所存在的不足，提出一种基于多尺度特征交互网络的多聚焦图像融合方法，以期对同一场景下不同聚焦设置所拍摄的多聚焦图像进行融合，使融合图像包含增强的空间信息，从而有助于后续的信息传输和图像处理。

本发明为解决技术问题，采用如下技术方案：

本发明一种基于多尺度特征交互网络的多聚焦图像融合方法的特点包括如下步骤：

步骤1、数据准备；

获取任意一对分辨率为H×W×3且聚焦区域为互补的多聚焦图像I_A和I_B；

获取与多聚焦图像I_A中聚焦区域对应的一幅分辨率为H×W的二值图G₁，并进行N-1次区域插值下采样，得到一组二值图像集记为{G₁,G₂,…,G_n,…,G_N}，并作为网络训练的参考图像，其中，G_n表示第n个尺度的参考图像，N表示尺度数；

步骤2、构建由主干网络、特征融合部分、上采样部分以及多层监督部分组成的多尺度特征交互网络模型，以预测多聚焦图像中各像素的聚焦属性，得到聚焦图；