[发明专利]一种多光谱图像的渐变融合模型建立方法及融合方法

说明书

本发明公开了一种多光谱图像的渐变融合模型建立方法，包括：构建一基于深度可分离卷积的光照感知子网络并训练；构建一基于深度保分离卷积的渐变融合模型，并建立训练集；对渐变融合模型进行训练；并计算辅助强度损失值、纹理损失值以及光照损失值；对所述损失值进行加权处理，获得综合损失值，以调整所述渐变融合模型中各模块的参数；采用训练集继续对渐变融合模型进行训练，直到所述综合损失值收敛，获得训练好的渐变融合模型。本发明还公开了相应的图像融合方法。实施本发明，可以降低多光谱图像的渐变融合模型的计算量，并使融合后图像兼顾细节纹理信息和热能目标信息。

技术领域

本发明涉及图像融合数据处理的技术领域，特别涉及一种多光谱图像的渐变融合模型建立方法及融合方法。

背景技术

电力设备分布分散，广泛，地形复杂，使用人力实地监测电力设备成本高昂。随着电子信息技术的发展，多源传感器越来越多的应用到电力设备的监测中去，尤以红外与可见光图像传感器最为常见。

可见光图像通常拥有较高的像素和图像清晰度，人类视觉感知效果好，但很容易受到极端自然条件影响，比如光照条件差，云雨雾等天气。

红外图像能够与可见光图像互补，具有很强的适应复杂场景能力，但通常像素低，蕴含细节纹理信息量小。随着图像融合技术的发展成熟，把红外与可见光图像融合成为一张图像，获取两者独有信息，融合二者共同信息成为现实，这会极大降低二者图像信息冗余量，集成重要信息，降低检测电力设备运行状况的难度。

传统红外与可见光图像融合技术主要有主成分分析，多尺度变换，小波变换和基于稀疏表示的方法。经过发展，已经达到了一定高度，很难再有明显突破。存在的主要问题是融合模型适应多场景能力差，对设计者数学功底要求高，融合速度慢，融合效果提升小，边缘模糊，对比度低，细节丢失等。

深度学习时代的蓬勃发展，助推了解决上述问题，当前研究者大量的使用基于深度学习的范式对图像进行融合，提升模型泛化性能，深度学习图像融合方法主要分为三大类，基于自编码器，基于卷积神经网络，基于生成对抗网络。

但由于基于卷积神经网络的模型结构层次多，计算量大，存储和运行过程中对算力要求高，还难以在移动式和嵌入式设备上进行广泛应用，给实际工程应用过程带来了诸多不利，也阻碍了深度学习应用与深度推广。因此，迫切需要兼顾性能可靠与轻量化的红外与可见光图像融合方法。

发明内容

本发明所要解决的技术问题在于，提供一种多光谱图像的渐变融合模型建立方法及融合方法，可以降低多光谱图像的渐变融合模型的计算量，并使融合后图像兼顾细节纹理信息和热能目标信息。

为了解决所述技术问题，本发明的一方面，提供一种多光谱图像的渐变融合模型建立方法，其至少包括如下步骤：

步骤S10，构建一基于深度可分离卷积的光照感知子网络，采用预定数量的白天场景与夜间场景的可见光图片对其进行训练，获得训练好的光照感知子网络；

步骤S11，构建一基于深度保分离卷积的渐变融合模型，并建立训练集；所述渐变融合模型至少包括两个特征提取模块、特征互补模块以图像重构模块；所述训练集包括多组图片对，每一组图片对包括同一位置拍摄的红外光图片、可见光图片；

步骤S12，将训练集中的每组图片对输入所述渐变融合模型，获得融合图像，将所述图片对中的可见光图片输入至所述训练好的光照感知子网络，获得本次可见光贡献值与红外光贡献值；

步骤S13，计算所述渐变融合模型对应的辅助强度损失值、纹理损失值，并根据所述本次可见光贡献值与红外光贡献值计算光照损失值；

步骤S14，根据所述辅助强度损失值、纹理损失值和光照损失值进行加权处理，获得综合损失值，依据所述损失值调整所述渐变融合模型中各模块的参数；