[发明专利]一种针对底层视觉任务的预训练方法

权利要求书

1.一种针对底层视觉任务的预训练方法，包括以下步骤：

构建图像退化自动编码器，该图像退化自动编码器包括编码器、解码器和退化表征器，其中编码器以退化图像作为输入，生成隐式图像表征；退化表征器用于生成包含退化信息的退化向量并将其传递至解码器以调制解码器的中间特征；解码器基于所述隐式图像表征，产生具有不同退化类型的输出图像；

利用设定的损失函数预训练所述图像退化自动编码器；

针对下游任务，对预训练的所述图像退化自动编码器进行微调，并且在微调过程中，将所述解码器替换为单个卷积层。

2.根据权利要求1所述的方法，其特征在于，所述编码器是基于底层视觉Transformer架构的编码器。

3.根据权利要求1所述的方法，其特征在于，所述解码器是卷积神经网络结构，并且包含多个残差块，在每个残差模块中引入退化注入模块，该退化注入模块利用所述退化表征器生成的退化向量输出调制变量，以调制所述解码器的中间特征。

4.根据权利要求3所述的方法，其特征在于，根据以下公式调制所述解码器的中间特征：

GFM(x_i)＝α*x_i+β

其中是解码器中间层的特征图，C、H和W分别是特征图的通道数、高度和宽度，α和β是退化表征器输出的调制变量。

5.根据权利要求1所述的方法，其特征在于，所述退化表征器包含预训练的超分辨率生成对抗网络模型SRGAN和下采样层。

6.根据权利要求1所述的方法，其特征在于，所述退化图像根据以下公式获得：

其中，I是给定的清晰图像，k是高斯模糊核，JPEG表示进行JPEG压缩，n是噪声。

7.根据权利要求1所述的方法，其特征在于，所述损失函数设置为：

L_DegAE＝λ_content*L_content+λ_adv*L_adv+L_per+L_embed

其中，L_DegAE是图像退化自动编码器的总体损失，L_content是内容重建损失项，L_adv是对抗损失项，L_per是感知损失项，L_embed是表征损失项，λ_content和λ_adv是设置的权重系数。

8.根据权利要求7所述的方法，其特征在于，所述损失函数中的各损失项分别设置为：

其中，k是高斯模糊核，是解码器的输出图像，表示目标图像，D是判别器，VGG是用于计算机视觉的卷积神经网络模型，φ表示退化向量。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。