[发明专利]一种对混合降质图像进行增强的方法与系统

说明书

本发明公开一种对混合降质图像进行增强的方法与系统，涉及图像处理技术领域。所述混合降质图像为经过M次不同降质处理的图像，所述方法包括：步骤S1、利用浅层卷积编码器将所述混合降质图像的每个像素映射到高维特征空间，以提取所述混合降质图像的浅层特征；步骤S2、将所述浅层特征作为输入特征输入至多任务解码模型，由所述多任务解码模型经M次递归对所述浅层特征进行增强处理，以获取所述混合降质图像的深层特征；步骤S3、将所述深层特征和所述浅层特征进行拼接融合以得到残差特征，基于所述残差特征获取与所述混合降质图像尺寸相同的增强图像。

技术领域

本发明属于图像处理技术领域，尤其涉及一种对混合降质图像进行增强的方法与系统。

背景技术

真实世界的图像通常会同时受到多重降质的影响。近年来，提出了一些关于混合降质的开创性工作。例如，对若干个轻量级卷积神经网络进行预训练，将其作为处理不同降质的工具；然后利用强化学习中的智能体学习选择最佳的工具链来处理未知的混合降质。基于强化学习的恢复方法需要设置较为复杂的奖励函数，并且需要较长的时间来训练模型，训练过程较难收敛。又如，利用注意力机制实现对混合降质的不同操作的自适应选择。然而，这些方法的设计不考虑混合降质之间的干扰。再入，引入解纠缠特征学习的概念来实现混合降质的特征级分治策略，通过将不同失真的特征表示分配到不同的信道中后自适应滤除无用信息并聚合有用的内容信息来重建清晰图像。然而，在通道级别上将混合降质分离处理虽然可以减少模型的参数量，但是由于无相应的损失约束或正则化，模型较难在不同通道上学习不同的降质处理函数，且缺乏可扩展性。利用多分支策略来设计算法，多分支利用不同的卷积核，一般用于提取图像的多尺度的信息，多分支提取的特征具有较强的联系和较高的相似性。然而，不同降质在特征空间内相似度较低，较难利用多分支方法来分离处理单个降质。现有增强模型多面向单一的降质因素，而现实场景下通常会受到多种降质因素叠加的混合降质影响，目前针对这种混合降质增强的研究较少。

发明内容

针对现有技术中混合降质增强方法存在参数量大、可解释性低、可扩展性低等问题，本发明提出一种对混合降质图像进行增强的方案。

本发明第一方面公开了一种对混合降质图像进行增强的方法；所述混合降质图像为经过M次不同降质处理的图像，所述方法包括：步骤S1、利用浅层卷积编码器将所述混合降质图像的每个像素映射到高维特征空间，以提取所述混合降质图像的浅层特征；步骤S2、将所述浅层特征作为输入特征输入至多任务解码模型，由所述多任务解码模型经M次递归对所述浅层特征进行增强处理，以获取所述混合降质图像的深层特征；其中，所述多任务解码模型包括门控网络和N个增强专家单元，每个增强专家单元对应一种增强处理，所述门控网络为各个增强专家单元的分配权重；步骤S3、将所述深层特征和所述浅层特征进行拼接融合以得到残差特征，基于所述残差特征获取与所述混合降质图像尺寸相同的增强图像。

根据第一方面的方法，在所述步骤S1中，所述混合降质图像为X，X的特征大小为3*H*W，3表征RGB的通道数，H表征所述混合降质图像的高度，W表征所述混合降质图像的宽度，所述浅层卷积编码器的卷积核大小为3*3，经提取的所述浅层特征的大小为d*H*W，d表征所述浅层特征的通道数。

根据第一方面的方法，在所述步骤S2中：所述多任务解码模型在接收到所述输入特征后，所述N个增强专家单元对所述浅层特征进行学习，以确定由其中的M个增强专家单元对所述混合降质图像进行与所述M个增强专家单元对应的增强处理；所述门控网络对所述浅层特征进行全局平均池化操作，将经所述全局平均池化操作的特征送入全连接网络和Softmax函数，通过映射生成所述N个增强专家单元的权重，其中所述M个增强专家单元的权重和为1，其他N-M个增强专家单元的权重均为0；在第i次递归中，将所述M个增强专家单元中具有最大权重的增强专家单元的权重赋为1，其他M-1个增强专家单元的权重赋为0，从而由所述具有最大权重的增强专家单元在所述第i次递归中对所述输入特征进行对应的增强处理；经所述增强处理的输出特征作为所述多任务解码模型的新的输入特征执行第i+1次递归，直到执行完M次递归，得到所述深层特征。