[发明专利]一种文本指导的自然图像超分辨率重构方法

权利要求书

1.一种文本指导的自然图像超分辨率重构方法，其特征在于，设计一个图像超分辨率重构网络模型，该图像超分辨率重构网络模型包含一个低频网络和一个高频网络，对于n倍超分辨率重构的网络，低频网络和高频网络都分别包括2×log₂ⁿ个卷积层、log₂ⁿ个残差块和log₂ⁿ个去卷积层；每一个残差块包含2个卷积层、1个relu激活层和1个跳跃连接层；低频网络中包括一个文本感知模块，用于将图像特征与文本特征相结合；重构的具体步骤如下：

(1)使用一个文本编码器，从文本描述中提取语义特征t；所述文本编码器是一种循环神经网络；

(2)利用图像超分辨率重构模型，根据文本特征指导生成低频高分辨率图像；具体流程为：

首先，将低分辨率图像I^LR输入低频网络，该低频网络用一个卷积层和一个残差块提取低分辨率图像的特征F^im；所述残差块包含2个卷积层、1个relu激活层和1个跳跃连接层；

将低分辨率图像的特征F^im与文本特征t一同输入文本感知模块；该文本感知模块使用1个1×1的卷积层将大小为256×a的文本特征t变为大小为b×a的向量j，将大小为H×W×b的图像特征重新变形为大小为HW×b的向量i；用矩阵乘法将图像向量i和文本向量j相乘得到大小为HW×a的向量k，并将其变形为大小为a×H×W的特征图，作为a个文本感知图M^attn；同时，将向量k与向量j矩阵相乘，并将其变形为大小为H×W×b的特征图，得到特征F^attn；

将特征F^attn与原始图像特征F^im级联后分别输入一个卷积层、一个残差块，接着使用一个去卷积层将特征放大2倍得到F^im₂，最后用一个3×3的卷积层输出2倍超分的RGB图像I^lowSR_×2；

将F^im₂与文本特征t输入文本感知模块，得到特征F^attn₂；将特征F^attn₂与图像特征F^im₂级联后分别输入一个卷积层、一个残差块，接着使用一个去卷积层在已经2倍放大的特征的基础上进一步将特征放大2倍得到4倍放大的特征F^im₃，最后用一个3×3的卷积层输出4倍超分的RGB图像I^lowSR_×4；

将F^im₃与文本特征t输入文本感知模块，得到特征F^attn₃；将特征F^attn₃与图像特征F^im₃级联后分别输入一个卷积层、一个残差块，接着使用一个去卷积层在已经4倍放大的特征的基础上进一步将特征放大2倍得到8倍放大的特征F^im₄，最后用一个3×3的卷积层输出8倍超分的RGB图像I^lowSR_×8；

低频网络输出不同倍数的低频超分图像{I^lowSR_×2,I^lowSR_×4,I^lowSR_×8}；

(3)生成纹理准确的高频高分辨率图像，具体流程为：

将低分辨率图像I^LR和低频网络生成的不同尺度的低频超分图像{I^lowSR_×2,I^lowSR_×4,I^lowSR_×8}输入图像超分辨率重构模型的高频网络；该高频网络用一个卷积层和一个残差块提取低分辨率图像特征F^im，再分别使用一个卷积层提取不同尺度的低频超分图像的特征{F^lowSR_×2,F^lowSR_×4,F^lowSR_×8}；使用一个去卷积层将F^im放大2倍得到特征F^SR_×2，将其与F^lowSR_×2级联，使用一个3×3的卷积层输出2倍超分的高分辨率图像I^SR_×2；

将特征F^SR_×2用一个卷积层、一个残差块和一个去卷积层得到在已经放大2倍特征的基础上进一步放大2倍的特征F^SR_×4；将F^SR_×4与F^lowSR_×4级联，使用一个3×3的卷积层输出4倍超分的高分辨率图像I^SR_×4；

将特征F^SR_×4用一个卷积层、一个残差块和一个去卷积层得到在已经放大4倍特征的基础上进一步放大2倍的特征F^SR_×8；将F^SR_×8与F^lowSR_×8级联，使用一个3×3的卷积层输出8倍超分的高分辨率图像I^SR_×8；

高频网络最终生成多个不同放大倍数的图像{I^SR_×2,I^SR_×4,I^SR_×8}。