[发明专利]一种基于知识蒸馏的无监督真实世界图像超分辨方法

说明书

本发明公开了一种基于知识蒸馏的无监督真实世界图像超分辨方法，属于图像处理技术领域。本发明主要包括以下步骤：1、获取真实世界图像数据集，并将数据集中的图像进行预处理；2、构建一个基于教师模型与学生模型的知识蒸馏网络用于模型训练；3、基于构建的知识蒸馏网络和预处理的数据集对网络模型进行训练；4、依据学习的模型参数，将一幅真实世界中的具有多样退化的低分辨图像作为网络的输入，得到清晰的高分辨率图像。本发明通过结合拥有优良性能的知识蒸馏模型和对抗生成网络，生成了重建效果不错的高分辨率图像，在医疗、遥感等领域中有着广泛的应用前景。

技术领域

本发明属于图像处理技术领域，更具体地说，涉及一种基于知识蒸馏的无监督真实世界图像超分辨方法。

背景技术

图像超分辨旨在将一张模糊的低分辨率图像重建成清晰的高分辨率图像。它具有广泛的应用前景，可用于医疗，遥感等领域。在早期的工作中，依赖于卷积神经网络强大的特征提取能力，已有的基于CNN的方法取得了相当不错的重建效果。然而，需要指出的是，这些方法大多数使用合成的方式去形成HR-LR图像对来训练网络。尽管在合成数据集上表现出良好的性能，但这些方法很难适应真实场景下的图像。

而基于有监督训练的方法在真实场景图像上的重建效果不佳的主要原因是真实与合成的图像之间存在域gap。这种域gap主要反映在图像退化的复杂度上。通常来说，合成的LR图像的退化样式单一，例如双三次插值。然而，收集到的真实图像由于传感器噪声、相机抖动等因素的影响，往往存在多样未知且复杂的退化(噪声、模糊、压缩等因素的结合)。

为解决这一问题，一些工作通过调整相机焦距来获得真实图像成对的数据集，进而以监督的方式训练网络，但这些数据集的收集难度较大且成本较高。另有一些工作提出盲超分算法，假定LR图像是由HR图像经过某种退化而来，这些盲超分方法比基于合成数据训练的模型有着更好的泛化性，但这种固定退化估计并不能有效作用于拥有复杂且未知退化的图像上。最近，一些工作利用不成对的HR-LR图像实现无监督的超分辨方法。通过已有的HR图像去生成与真实场景LR图像有相同分布的退化图像，然后利用生成的伪HR-LR图像对去监督训练超分辨网络，这种做法虽然在一定程度上能够减小生成的退化图像与真实场景LR图像的域gap，但二者的域距离仍然存在。

经检索，现有技术中关于真实场景图像超分辨的方案也有很多公开，如专利申请号为：202110635893.7，申请日为2021年6月8日。发明名称为：基于降质变分自编码器的真实世界图像超分辨方法及系统。该申请案设计一种降分变质自编码器和超分辨网络，将低分辨率图像输入超分辨率网络，得到高分辨率图像；将高分辨率图像输入降质变分自编码网络，得到低分辨率图像；将低分辨率图像输入超分辨率网络，得到重建的高分辨率图像。通过构建循环一致性损失来同时训练超分辨网络和降质变分自编码网络。需要指出的是，该申请案中采用降质变分自编码器来提取真实低分辨图像的降质模式，然后指导高分辨率图像生成类似降质分布的低分辨图像，这种方式虽然在一定程度上能生成与真实世界低分辨率图像相似降质模式的图像，但编码器提取到的降质模式并不完全，导致生成的低分辨率图像与真实世界低分辨率图像的降质分布差异仍然存在，从而影响了超分辨网络的性能。

基于以上分析，现有技术需要一种能够适应真实世界中的图像超分辨率方法。

发明内容

1.发明要解决的技术问题

为了克服上述现有技术存在的，现有超分辨率网络不能很好适应现实中具有复杂退化的图像的问题；本发明提出了一种基于知识蒸馏的无监督真实世界图像超分辨方法；本发明利用知识蒸馏模型以及对抗生成网络来进行不同图像间的域适应，能够处理真实世界中的图像，满足了现实中复杂的要求。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种基于知识蒸馏的无监督真实世界图像超分辨方法，其步骤为：