[发明专利]一种高分辨率图像修复方法及装置

说明书

本发明公开了一种高分辨率图像修复方法及装置，该方法在真实的图像上添加随机掩模的基础上进行修复训练并最终形成目标图像修复模型。解决了已经训练完成的图像修复网络应用在超分辨率的图片修复时修复质量不佳的问题。通过该目标图像修复模型对高分辨率图片进行修复时，不需对修复网络结构进行重新设计，不需对网络进行重新训练以及引入额外的变量和参数，思路简单有效。

技术领域

本发明涉及图像修复技术领域，特别是涉及一种高分辨率图像修复方法及装置。

背景技术

图像修复技术就是利用未被破坏的图像区域信息去推理被破坏区域的图像应有的颜色、结构，然后对破坏区域进行填补达到修复图像目的。在实际工业生产与应用中，图像常常会因为噪声腐蚀、镜头上的灰尘、人为遮挡或是图像遭到涂鸦等原因导致图像损坏。

修复网络得到的图像需要评价其质量进而评价算法的优劣，这有助于模型训练图像评价是根据某种准则或指标算出某个测度值。图像评价指标是用于客观评价图像及其处理算法优劣的标准，它在包括图像去噪、去模糊、去雾、补洞等修复处理及超分任务上基本通用。

在工程领域，数字图像修复技术可以应用到图像超分辨率分析、图像和视频传输过程中的错误隐藏、图像编码压缩、图像和视频稳定等方面。图像超分辨率分析是一种使用低分辨率图像重建高分辨率图像的技术，在该领域中，数字修复技术可以用来识别低分辨率图像中的像素并作为高分辨率图像的已知信息，然后填充损坏的信息区域，从而获得更好的结果。

目前图像修复技术大多基于人工提取特征的传统技术方面，主要的两种传统数字图像修复算法，一种是基于结构的修复技术，另一种是基于纹理的修复技术。基于结构的方法主要用于修复小损伤尺度的图像，且不能修复纹理；基于纹理修复的方法主要针对较大损伤尺度的修复，但是忽略了图像边缘结构且需要消耗大量时间。

随着计算能力的不断增强及图像修复网络等新兴模型的提出，深度学习技术越来越被研究者们重视。一般来讲，在训练一个图像修复网络时，要求训练集与测试集的图像分辨率大致相同，通常需要测试集图片不超过训练集的图像分辨率，否则会出现修复效果不佳的问题。

然而，基于深度学习的图像修复技术目前尚存在训练集与测试集采用的图像分辨率差距较大，容易使恢复图像比原图像像素低，导致恢复效果不佳。目前主要的解决方法是将高分辨率的测试集降低到跟训练集接近的分辨率进行修复，然后通过插值等方式上采样恢复到测试集图像原有的分辨率，这种方式修复的图像势必在很多细节上比较模糊，导致效果欠佳；或者通过提高感受野来覆盖住大分辨率测试集，但这种方式改变了原有训练模型的网络结构，需要重新训练网络才能有效使用。

发明内容

鉴于上述问题，本发明提供用于克服上述问题或者至少部分地解决上述问题的一种高分辨率图像修复方法及装置。

本发明提供了如下方案：

一种高分辨率图像修复方法，包括：

利用掩码生成器通过大掩码生成策略，随机生成不同形状的掩码；

利用所述掩码对训练原始图像进行遮挡，形成四通道的输入张量数据；

将所述输入张量数据放入图像修复网络训练形成图像修复模型；所述图像修复网络包括中间特征；

将高分辨率待修复图像进行处理获得低分辨率待修复图像，所述低分辨率待修复图像的分辨率与所述图像修复网络的适配；

利用所述高分辨率待修复图像以及所述低分辨率待修复图像对所述图像修复模型中的所述中间特征进行优化获得目标中间特征；

利用所述目标中间特征替换所述图像修复模型中的所述中间特征获得目标图像修复模型；

将所述高分辨率待修复图像输入所述目标图像修复模型，以便所述目标图像修复模型输出目标图像修复结果。