[发明专利]训练方法及装置、图像修复方法及装置

权利要求书

1.一种图像修复模型的训练方法，其特征在于，所述图像修复模型包括依次相连的多个特征提取层，所述训练方法包括：

获取图像训练集，其中，所述图像训练集包括样本图像、与所述样本图像对应的原始图像以及与所述样本图像对应的样本掩膜，所述样本图像包括无效像素区域；

依据样本图像、原始图像和样本掩膜对所述图像修复模型进行训练，其中，同一特征提取层采用共享卷积核对输入本特征提取层的图像和掩膜进行分别卷积，所述卷积核的像素数值类型为浮点型。

2.根据权利要求1所述的训练方法，其特征在于，所述依据样本图像、原始图像和样本掩膜对所述图像修复模型进行训练，包括：

对于同一特征提取层，通过所述卷积核对输入的掩膜进行卷积，得到掩膜卷积结果；

依据所述掩膜卷积结果得到本层特征提取层输出的更新后的掩膜；

通过所述卷积核对输入的图像进行卷积，得到图像卷积结果；

依据所述图像卷积结果得到本层特征提取层输出的特征图。

3.根据权利要求2所述的训练方法，其特征在于，所述依据样本图像、原始图像和样本掩膜对所述图像修复模型进行训练，还包括：

依据所述特征图和所述更新后的掩膜得到所述图像修复模型的输出；

依据所述原始图像和所述图像修复模型的输出调整损失函数。

4.根据权利要求2所述的训练方法，其特征在于，所述依据所述掩膜卷积结果得到本层特征提取层输出的更新后的掩膜，包括：

将所述掩膜卷积结果输入非线性激活函数，得到函数输出；

对所述函数输出和所述掩膜卷积结果进行矩阵点乘，得到本层特征提取层输出的更新后的掩膜。

5.根据权利要求4所述的训练方法，其特征在于，所述依据所述图像卷积结果得到本层特征提取层输出的特征图，包括：

对所述图像卷积结果和所述函数输出进行矩阵点乘，得到图像点乘结果；

依据所述图像点乘结果得到本层特征提取层输出的特征图。

6.根据权利要求4所述的训练方法，其特征在于，所述非线性激活函数f(x)为：

其中，x为与有效像素个数正相关的比例因子，0≤x≤1，μ为比例因子阈值，γ为缩放因子，h(γ)＝4πexp(8γ³)。

7.根据权利要求6所述的训练方法，其特征在于，在通过所述卷积核对输入的掩膜和输入的图像进行卷积之前，所述方法还包括：将所述卷积核划分为负系数卷积核和非负系数卷积核；

在对输入的掩膜进行卷积时，分别通过所述负系数卷积核和所述非负系数卷积核进行卷积，得到相应的两个掩膜卷积结果，并依据所述两个掩膜卷积结果得到相应的函数输出，在将所述函数输出与相应的掩膜卷积结果进行矩阵点乘之后，通过相应的加权因子对得到的两个掩膜点乘结果进行相加，得到本层特征提取层输出的更新后的掩膜；

在对输入的图像进行卷积时，分别通过所述负系数卷积核和所述非负系数卷积核进行卷积，得到相应的两个图像卷积结果，在将所述函数输出分别与所述两个图像卷积结果进行矩阵点乘之后，通过对得到的两个图像点乘结果进行相加得到图像点乘结果之和，依据所述图像点乘结果之和得到本层特征提取层输出的特征图。

8.一种图像修复方法，其特征在于，所述方法包括：

获取待修复图像以及与所述待修复图像对应的掩膜；

将所述待修复图像和所述掩膜输入利用权利要求1-7中的任一项所述的训练方法得到的图像修复模型，以得到修复后的图像。