[发明专利]一种半监督多光谱和全色遥感图像融合方法和系统

说明书

本发明公开了一种半监督多光谱和全色遥感图像融合方法和系统。方案提取HSV颜色空间的多光谱图像的V通道，分别将该V通道和全色图像输入到生成器中的双胞胎网络中进行编码。接着通过对编码获得的特征进行拼接输入到解码器中，并且将编码器中每层卷积获得的特征与解码器的对应层进行跳层连接后进行图像重构，从而获得融合后的V通道。对融合后的V通道分别利用鉴别器与全色图像和多光谱图像的V通道进行鉴别，鉴别结果反馈到生成器以调整生成器参数，直至鉴别器鉴别通过。然后拼接H、S和融合后的V通道，得到HSV融合图像，然后再转换为RGB图像。本发明无需获取标签图像，计算方法简单，融合后图像的各项指标较现有方法具有较大优势。

技术领域

本发明涉及图像处理(融合)领域，尤其是一种半监督多光谱和全色遥感图像融合方法和系统。

背景技术

由于成像传感器存储和信号传输带宽的限制，大多数地球观测卫星只能提供低光谱分辨率、高空间分辨率的全色(PAN)图像和高光谱分辨率、低空间分辨率的多光谱(MS)图像。由于前者是单波段图像，所以该类图像无法获取地物色彩，但具有高空间分辨率；而后者由于是传感器对地物辐射的多个波段进行获取，得到具有多波段光谱信息的图像，对不同波段分别赋予不同的RGB值，从而获得低分辨率的彩色图像。同时具有高空间分辨率和高光谱分辨率的遥感图像更有利于地质勘探、环境保护、城市规划、海洋监测、气象预报、抢险救灾等领域的应用。因此，如何将低光谱/高空间分辨率的全色灰度图像和高光谱/低空间分辨率的多光谱彩色图像进行融合从而获得高质量的高分辨率多光谱遥感图像成为图像融合领域的研究热点。

过去数十年，各种遥感图像融合方法被提出并且展现出较为优异的图像融合性能。目前存在的遥感图像融合方法可大致分为两类:传统遥感图像融合方法和基于深度学习的遥感图像融合方法。其中，传统的遥感图像融合方法又可以分为基于分量替代的方法，基于多分辨率分析的方法和基于稀疏学习的方法三种。这三种主要的融合方法都具有良好的融合性能，但是其缺点也不可忽视。基于分量替代的方法，例如Gram-Schmidt adaptive(GSA)方法和带相关空间细节(BDSD)模型，具有不同程度的光谱失真。而基于多分辨率分析的方法虽然具有很高的光谱保真度，但是通常情况下不能提供足够的空间信息；基于稀疏学习的方法可以利用字典获取高分辨的多光谱图像，并且光谱失真小。然而，现有的基于稀疏学习的方法大多模型复杂，计算复杂度高，且不能很好地保存光谱信息。此外需要标签图像(同时具有高空间分辨率和高光谱分辨的遥感图像)是该类方法的通病，然而在实际应用中，标签图像的获取又是一大难题。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种结合条件生成对抗网络和双胞胎U型网络结构的半监督多光谱和全色遥感图像融合方法。以提供一种无需获取标签图像，计算复杂度低，且遥感图像融合效果优秀的遥感图像融合方法。

本发明采用的技术方案如下：

一种半监督多光谱和全色遥感图像融合方法，包括以下步骤：

A.提取从RGB颜色空间转换到HSV颜色空间的多光谱图像中的V通道；

反复执行下述步骤B～D，直至鉴别器鉴别通过(无法区分获得的融合V通道图像和对应的源图像-V通道和全色图像)；

B.利用生成器分别对全色图像和所述多光谱图像的V通道进行编码，编码过程采用多尺度卷积操作，再对多尺度卷积获得的中间结果进行卷积和残差块操作，以分别获得全色图像和多光谱图像V通道的特征；

C.生成器将编码后获得的全色图像和多光谱图像V通道的特征进行拼接，对拼接特征进行解码，以获得融合后的V通道；

D.将融合后的V通道，分别与全色图像和多光谱图像的V通道利用鉴别器进行鉴别；并将鉴别未通过时的鉴别结果反馈到生成器以调整生成器参数；

E.将生成器最后融合的V通道与多光谱图像的H、S通道进行拼接后获得HSV融合图像。