[发明专利]一种文本指导的自然图像超分辨率重构方法

说明书

本发明属于数字图像智能处理技术领域，具体为一种文本指导的自然图像超分辨率重构方法。图像超分辨率重构是指利用算法来恢复丢失的图像像素。自然图像超分辨率重构主要用于提升图像清晰度，改善图像视觉效果，以产生真实、自然的高分辨率图像。本发明方法包括：从文本描述中提取语义特征；结合图像特征和文本语义特征；完善图像细节信息，修复语义不准确的特征；重构高分辨率自然图像。在网络的训练中引入基于语义的判别器、图文匹配损失和文本感知的重构损失来约束图像超分辨率重构模型学习图像超分辨率任务。实验结果表明，本发明可以生成自然美观且符合文本描述的高分辨率图像，有效解决大尺度图像超分辨率重构问题。

技术领域

本发明属于数字图像智能处理技术领域，具体涉及一种图像修复方法，更具体的说，涉及一种文本指导的自然图像超分辨率重构方法。

背景技术

近年来，随着深度学习技术在计算机视觉领域的应用，图像超分辨率重构问题得到了较好的结果，恢复出的高分辨率图像无论是在视觉上还是客观数值指标上都与真实的高分辨率图像近似。因此，深度学习技术成为图像超分辨率重构问题的一个研究热点。

现有的基于深度学习的超分辨率重构方法仅应用于单一的图像模式，根据输入的低分辨率图像来估计缺失的像素信息。缺乏对高级语义的理解，这些方法难以重建逼真的细节。在较大超分辨率重构倍数的问题中，低分辨率图像可能损失过多细节，以致重要的语义信息会丢失，难以恢复足够的高频信息。当输入图像太小而无法包含足够的信息时，传统的超分辨率重构方法(EDSR[3]，SPSR[4])无法推断出准确的纹理信息，生成模糊或不真实的图像内容。

虽然已有一些超分辨率重构方法(SFTGAN[5])结合了语义信息，但这些方法仅利用了图像水平的语义先验，例如语义分割图，人脸分割图等。这些具有语义图像往往仅包含有限的语义信息，不能为超分辨率重构过程很好地提供充分的辅助。

此外，由于图像超分辨率任务的不适定性，给定一幅低分辨率图像，存在很多不同的高分辨率图像解。然而，针对一幅低分辨率图像，现有的超分辨率方法仅能重构出单一的高分辨率图像。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种利用文本描述的先验知识来重构真实、符合语义的文本指导的自然图像超分辨率重构方法。

本发明提供的文本指导的自然图像超分辨率重构方法，主要针对较大倍数超分辨率重构任务中，低分辨率图像含有有限的图像信息，限制高分辨率图像内容恢复的问题。本发明通过结合文本描述，辅助生成真实准确既美观的自然图像。

本发明提供的文本指导的自然图像超分辨率重构方法，其中，设计一个图像超分辨率重构网络模型，该图像超分辨率重构网络模型包含一个低频网络和一个高频网络(参见图1所示)，对于n倍超分辨率重构的网络，低频网络和高频网络都分别包括2×log₂ⁿ个卷积层、log₂ⁿ个残差块和log₂ⁿ个去卷积层；每一个残差块包含2个卷积层、1个relu激活层和1个跳跃连接层；低频网络中包括一个文本感知模块(参见图2所示)，文本感知模块用于将图像特征与文本特征相结合；重构的具体步骤如下：

(1)使用一个文本编码器，从文本描述中提取语义特征。

首先将图像的文本描述输入文本编码器，提取文本特征t。该文本编码器使用一种循环神经网络(长短期记忆网络LSTM[1])。

(2)利用图像超分辨率重构模型，根据文本特征指导生成低频高分辨率图像。

首先，将低分辨率图像I^LR输入低频网络，该低频网络用一个卷积层和一个残差块提取低分辨率图像的特征F^im。每一个残差块包含2个卷积层、1个relu激活层和1个跳跃连接层。