[发明专利]训练方法及装置、图像修复方法及装置

说明书

本申请公开了一种训练方法及装置、图像修复方法及装置，图像修复模型包括依次相连的多个特征提取层，该训练方法首先获取图像训练集，其中，图像训练集包括样本图像、与样本图像对应的原始图像以及与样本图像对应的样本掩膜，样本图像包括无效像素区域，然后依据样本图像、原始图像和样本掩膜对图像修复模型进行训练，其中，同一特征提取层采用共享卷积核对输入本特征提取层的图像和掩膜进行分别卷积，卷积核的像素数值类型为浮点型，能够提高修复图像的语义一致性和保真度，使得修复质量满足质量要求。

技术领域

本申请涉及图像处理技术领域，特别涉及一种训练方法及装置、图像修复方法及装置。

背景技术

随着深度学习的兴起，特别是深度卷积网络的发展，各种传统图像处理的问题都获得了巨大的突破，包括图像修复。图像修复(Image Inpainting)是一个传统的图像处理问题，输入图像具有部分残缺，需要根据图像中正常区域的信息以及大量正常图像的统计信息，修补残缺的部分。

针对图像修复特定的应用场景，主要采用深度学习的方式来进行图像修复，例如通过卷积神经网络来处理和规避无效像素干扰，但在实现本申请的过程中，发明人发现通过目前的图像修复方式得到的修复图像的语义一致性和保真度较差，修复质量难以满足质量要求。

需要说明的是，本背景技术部分中公开的信息仅用于理解本申请构思的背景技术，并且因此，它可以包含不构成现有技术的信息。

发明内容

本申请的第一个目的在于提出一种图像修复方法，能够提高修复图像的语义一致性和保真度，使得修复质量满足质量要求。

本申请的第二个目的在于提出一种图像修复方法。

本申请的第三个目的在于提出一种图像修复模型的训练装置。

本申请的第四个目的在于提出一种图像修复装置。

为达上述目的，本申请第一方面实施例提出了一种图像修复模型的训练方法，所述图像修复模型包括依次相连的多个特征提取层，所述训练方法包括：获取图像训练集，其中，所述图像训练集包括样本图像、与所述样本图像对应的原始图像以及与所述样本图像对应的样本掩膜，所述样本图像包括无效像素区域；依据样本图像、原始图像和样本掩膜对所述图像修复模型进行训练，其中，同一特征提取层采用共享卷积核对输入本特征提取层的图像和掩膜进行分别卷积，所述卷积核的像素数值类型为浮点型。

根据本申请实施例提出的图像修复模型的训练方法，提出了掩膜导引的卷积算子通过共享卷积核使得掩膜分支与图像分支共享卷积核，对掩膜分支与图像分支结合起来进行优化，降低了参数量，图像通道和掩膜通道之间能够互相利用彼此的信息，促进了两个分支的信息互用，并且通过采用浮点型掩膜除了能够表示像素是否有效之外，还能够精细地描述像素有效和无效的程度，因此能够提高修复图像的语义一致性和保真度，使得修复质量满足质量要求，实现了对图像修复任务中无效像素更精细化的处理。

根据本申请的一个实施例，所述依据样本图像、原始图像和样本掩膜对所述图像修复模型进行训练，包括：对于同一特征提取层，通过所述卷积核对输入的掩膜进行卷积，得到掩膜卷积结果；依据所述掩膜卷积结果得到本层特征提取层输出的更新后的掩膜；通过所述卷积核对输入的图像进行卷积，得到图像卷积结果；依据所述图像卷积结果得到本层特征提取层输出的特征图。

根据本申请的一个实施例，所述依据样本图像、原始图像和样本掩膜对所述图像修复模型进行训练，还包括：依据所述特征图和所述更新后的掩膜得到所述图像修复模型的输出；依据所述原始图像和所述图像修复模型的输出调整损失函数。

根据本申请的一个实施例，所述依据所述掩膜卷积结果得到本层特征提取层输出的更新后的掩膜，包括：将所述掩膜卷积结果输入非线性激活函数，得到函数输出；对所述函数输出和所述掩膜卷积结果进行矩阵点乘，得到本层特征提取层输出的更新后的掩膜。