[发明专利]一种对混合降质图像进行增强的方法与系统

权利要求书

1.一种对混合降质图像进行增强的方法，其特征在于，所述混合降质图像为经过M次不同降质处理的图像，所述方法包括：

步骤S1、利用浅层卷积编码器将所述混合降质图像的每个像素映射到高维特征空间，以提取所述混合降质图像的浅层特征；

步骤S2、将所述浅层特征作为输入特征输入至多任务解码模型，由所述多任务解码模型经M次递归对所述浅层特征进行增强处理，以获取所述混合降质图像的深层特征；

其中，所述多任务解码模型包括门控网络和N个增强专家单元，每个增强专家单元对应一种增强处理，所述门控网络为各个增强专家单元的分配权重；

步骤S3、将所述深层特征和所述浅层特征进行拼接融合以得到残差特征，基于所述残差特征获取与所述混合降质图像尺寸相同的增强图像。

2.根据权利要求1所述的一种对混合降质图像进行增强的方法，其特征在于，在所述步骤S1中，所述混合降质图像为X，X的特征大小为3*H*W，3表征RGB的通道数，H表征所述混合降质图像的高度，W表征所述混合降质图像的宽度，所述浅层卷积编码器的卷积核大小为3*3，经提取的所述浅层特征的大小为d*H*W，d表征所述浅层特征的通道数。

3.根据权利要求2所述的一种对混合降质图像进行增强的方法，其特征在于，在所述步骤S2中：

所述多任务解码模型在接收到所述输入特征后，所述N个增强专家单元对所述浅层特征进行学习，以确定由其中的M个增强专家单元对所述混合降质图像进行与所述M个增强专家单元对应的增强处理；

所述门控网络对所述浅层特征进行全局平均池化操作，将经所述全局平均池化操作的特征送入全连接网络和Softmax函数，通过映射生成所述N个增强专家单元的权重，其中所述M个增强专家单元的权重和为1，其他N-M个增强专家单元的权重均为0；

在第i次递归中，将所述M个增强专家单元中具有最大权重的增强专家单元的权重赋为1，其他M-1个增强专家单元的权重赋为0，从而由所述具有最大权重的增强专家单元在所述第i次递归中对所述输入特征进行对应的增强处理；

经所述增强处理的输出特征作为所述多任务解码模型的新的输入特征执行第i+1次递归，直到执行完M次递归，得到所述深层特征。

4.根据权利要求3所述的一种对混合降质图像进行增强的方法，其特征在于，在所述步骤S2中，所述每个增强专家单元均包括图像转块序列单元、窗口自注意力模型层、块序列转图像单元和卷积层；其中：

所述图像转块序列单元用于将待增强的图像特征转换为块序列特征；

所述窗口自注意力模型层直接从待增强的所述块序列特征中提取出与当前增强专家单元对应的待增强的降质特征；

所述块序列转图像单元用于将基于块序列的所述待增强的降质特征转换为待增强的降质图像特征；

所述卷积层对所述待增强的降质图像特征进行与当前增强专家单元对应的增强处理，以得到经所述当前增强专家单元处理的单一增强特征；

将所述待增强的图像特征和所述单一增强特征进行融合，以得到所述当前增强专家单元的输出特征，所述输出特征作为所述新的输入特征执行下一次递归。

5.根据权利要求4所述的一种对混合降质图像进行增强的方法，其特征在于，在所述步骤S3中，所述残差特征被送入两个卷积层中，以将所述残差特征的大小从d*H*W变换为3*H*W，所述两个卷积层的卷积核大小均为3*3。

6.根据权利要求5所述的一种对混合降质图像进行增强的方法，其特征在于，在预训练所述多任务解码模型时，利用L1损失网络计算预训练过程中得到的原始图像和经增强的原始图像之间的损失函数，当所述损失函数低于损失阈值时完成所述预训练；其中所述损失函数的计算方式为：

其中，P_ij和T_ij分别表示经增强的原始图像P和所述原始图像Y在坐标(i,j)处的的像素值。