[发明专利]一种模型训练及图像处理方法、装置

说明书

本说明书公开了一种模型训练及图像处理方法、装置。通过待训练的图像处理模型的第一模型中的对待处理图像进行处理并输出已处理图像，并且采用图像处理模型中的第二模型来预测已处理图像中各已处理区域与对应的标注图像的标注区之间的预测差异度，以根据预测差异度来为各已处理区域确定出区域权重，并通过以区域权重加权后的已处理图像和标注图像之间真实的标注差异度的最小为目标调整图像处理模型中的参数。使得在训练的过程中能够对预测差异度较大的区域投入更多的关注，从而避免待处理图像中需要进行处理的区域较小而导致模型训练得到较小的损失时所输出的已处理图像在需要处理的区域仍然难以得到较好的处理。

技术领域

本说明书涉及计算机视觉领域，尤其涉及一种模型训练及图像处理方法、装置。

背景技术

随着图像处理技术的发展，机器学习被越来越广泛地应用于图像处理领域对图像进行修复和优化，例如，可以对图像中缺失/遮挡部分进行填补，可以去除图像中所包含的水印，再例如，可以对黑白图像进行上色，还可以将低分辨率图像修复为高分辨率图像等等。

在现有技术中，常见采用生成对抗网络(Generative adversarial network，GAN)中训练后的生成器作为图像处理模型。GAN包括生成器和判别器，在训练的过程中，生成器对图像进行处理，以上述去除图像水印的任务为例，生成器根据所输入的包含水印的图像进行水印去除，并输出处理之后的图像，而判别器则在生成器所输出的图像以及未包含水印的图像的集合中，对各图像进行打分以判断各图像是否为生成器所输出的水印去除的图像。

一方面，可以根据判别器对生成器的打分对GAN中的参数进行训练，而另一方面，则可以根据判别器对各图像的判别结果以及对应的图像的标注之间的差异，来对GAN中的参数进行训练。

但在实际中，对于图像处理任务中需要进行处理的区域可能较小，例如水印在图像中的面积占比较小，判别器难以察觉较小区域的差异，从而导致所训练出的生成器难以生成处理质量较优的图像。

发明内容

本说明书提供一种模型训练及图像处理方法、装置，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种模型训练方法，包括：

确定待训练的图像处理模型，所述图像处理模型包括第一模型和第二模型；

确定待处理的样本图像，并输入所述样本图像至所述图像处理模型；

通过所述第一模型，根据所述样本图像，得到第一模型输出的已处理图像；通过所述第二模型，针对已处理图像中所包括的每个已处理区域，为该已处理区域从标注图像中确定出所对应的标注区域，对该已处理区域与对应的标注区域之间的差异度进行预测，并根据得到的预测差异度为各已处理区域确定对应的区域权重；

针对每个已处理区域，确定该已处理区域与对应的标注区域之间的差异度，作为该已处理区域的标注差异度；

以该已处理区域对应的区域权重对该已处理区域的标注差异度进行加权；

以加权后的各已处理区域的标注差异度最小为目标，调整所述图像处理模型中的参数。

可选地，所述方法还包括：

以所述第二模型为各已处理区域预测出的预测差异度与各已处理区域的标注差异度之间的差异最小为目标，调整所述图像处理模型中的参数。

可选地，已处理区域由已处理图像中被处理的若干个像素构成；

确定该已处理区域与对应的标注区域之间的差异度，具体包括：

针对该已处理区域中所包括的每个像素点，确定该像素点所属的像素点对，所述像素点对中还包括与该已处理区域相对应的标注区域中，与该像素点相对应的像素点；