[发明专利]一种图像翻译方法、系统、介质及设备

说明书

本发明涉及深度学习图像翻译领域，尤其涉及一种图像翻译方法、系统、介质及设备。该方法包括：将预处理后的待翻译图像输入至可见光到红外图像翻译网络中，得到翻译结果以及图像的边缘信息，所述可见光到红外图像翻译网络包含图像翻译模块以及图像边缘信息监督模块，其中，所述图像翻译模块包括注意力子模块。通过本发明能够达到在生成器以及判别器中引入自注意力机制来引导可见光到红外图像翻译网络注重图像中更具判别性的区域，通过引入边缘信息监督模块对生成图像与目标域真实图像边缘的一致性做约束，有助于解决现有方法所翻译图像存在的边缘模糊、不对齐的问题的效果。

技术领域

本发明涉及深度学习图像翻译领域，尤其涉及一种图像翻译方法、系统、介质及设备。

背景技术

传统的红外图像生成方法主要是依托红外图像仿真软件来开展，由于此类方法基于实际的物理模型，涉及的参数量大、研究应用过程需要人为干预，因此无法满足红外图像快速、大量的生成需求。随着深度学习的提出以及图像翻译技术在图像风格转换、图像去雨、图像恢复等图像生成任务上日益深入的研究，红外图像的生成问题也可以采用深度学习中的图像翻译技术来解决。

图像翻译是深度学习近年来的一个研究热点，顾名思义，图像翻译的目的就是将图像由一个域的表达形式转换为另一个域的表达形式。2014年提出的生成对抗网络(Generative Adversarial Network，GAN)由于在图像的转换上具有相当出色的性能，近几年在国内外获得了极大的关注与发展。生成对抗网络由生成器与判别器构成，通过生成器与判别器两者之间极大-极小的博弈，使网络能够输出拟合真实数据分布的合成数据。

原始的GAN网络难以保证训练的稳定性，且生成图像质量有限，后续提出的Cyclegan网络则在原始生成对抗损失的基础上，引入了循环一致性损失来提高网络转换图像在结构上的稳定性。随着注意力机制在分类任务上产生的显著性效果，SAGAN、U-GAT-IT网络也在图像翻译过程引入了注意力子模块，使得网络在翻译过程中更关注转换过程中更具判别性的区域，从而提高网络的生成质量。尽管现有的图像翻译网络性能越来越好，但网络仍然存在着生成图像边缘扩散、变形、不稳定等问题。

发明内容

本发明所要解决的技术问题是提供一种图像翻译方法、系统、介质及设备。

本发明解决上述技术问题的技术方案如下：一种可见光到红外图像翻译方法，包括：

将预处理后的待翻译图像输入至可见光到红外图像翻译网络中，得到翻译结果以及图像的边缘信息，所述可见光到红外图像翻译网络包含图像翻译模块以及图像边缘信息监督模块，其中，所述图像翻译模块包括注意力子模块。

本发明的有益效果是：通过在生成器以及判别器中引入自注意力机制来引导可见光到红外图像翻译网络注重图像中更具判别性的区域，从而更好地实现图像的翻译；通过引入边缘信息监督模块对生成图像与输入图像边缘的一致性做约束，有助于解决现有方法所翻译图像存在的边缘模糊、不对齐的问题。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述预处理具体包括：

对所述待翻译图像依次进行旋转、缩放、裁剪和归一化处理。

进一步，所述得到翻译结果的过程具体为：

通过所述图像翻译模块中的生成器中的编码子模块对所述预处理后的待翻译图像进行特征提取并得到相应特征谱，其中所述编码子模块由三个下采样块以及六个残差块构成；

通过所述生成器中的注意力子模块对所述编码子模块最后输出的特征谱进行重要性加权，得到注意力谱；

通过所述生成器中的解码子模块对所述注意力谱进行解码得到所述翻译结果。

进一步，所述得到边缘信息的具体过程为：