[发明专利]基于单样例引导物体表征拆分的图像编辑方法

说明书

基于单样例引导物体表征拆分的图像编辑算法，包括下列步骤：1)基于单样例的监督模块构建；2)单样例引导下的自监督模块中的对偶策略构建；3)单样例引导下的自监督模块中的模糊分类策略构建4)基于单样例标注图像引导物体表征拆分的图像编辑。通过上述步骤建立的基于单样例引导物体表征拆分的图像编辑算法，只需要为每一类别图像标注一个样本形成单样例样本，利用单样例样本引导大量无标注数据训练的方式，通过单样例的监督模块和单样例引导无标注数据的自监督模块，实现复杂场景的前景物体和背景表征拆分，使得在图像表征空间即可直接操作图像，轻松实现相关图像编辑任务。

技术领域

本发明属于图像表征学习(拆分)领域，可以把图像中的前景物体和背景映射到一段具有模块化物理含义的表征中，这段表征也可拆分为前景物体信息和背景信息,可在图像的高维表征空间直接对前景物体和背景进行操作，灵活应用于图像编辑等应用中。针对基于深度学习的有监督图像表征拆分需要大量标注数据以及已有无监督方法在复杂背景图像上无效的问题，提出了一种基于单样例引导物体表征拆分的图像编辑算法，每一类图像仅使用一张有标注样本(单样例)即可引导其余所有无标注样本学习，实现对于大量无标注数据，利用极少量的有标注单样例图像样本，结合单样例的监督模块和单样例引导下的自监督模块，即可实现在图像的高维表征空间中对复杂图像前景物体和背景进行拆分，使得可以直接在图像的表征空间对图像进行操作和编辑。

背景技术

物体表征拆分学习在许多机器学习任务中具有重要作用，它可以使得任务直接在表征域完成，包括图像编辑、图像分类、小样本学习、零样本学习和视觉概念学习，比如在图像编辑领域，前景的提取非常依赖于图像分割技术和大量人力，只能在图像中进行操作，如果可以在表征域完成效率就会提高很多。目前存在的分类工作往往是使用大量有标注样本训练一个分类器去提取特定的物体特征并识别，需要很多劳动力和大量时间去标注信息。在少样本和零样本领域，大多数工作都使用预训练好的模型去提取相关表征作为特定物体的特征，然而，使用预训练好的模型提取到的表征往往含有很多不相关的特征，这些特征会降低模型的性能。因此，学习一种可以提取图像中特定纯净并且完整的物体表征的方法是非常急需的。

应用此方法在图像编辑领域，只在表征域就可以实现“一键换前景/背景”，可用于制作海报、排版素材、大头贴等实际应用中。在图像编辑中，如果想要交换两张图像中的物体，可以使用Photoshop或者使用分割模型，把物体、背景都分割出来之后再交换物体到对方的背景上去，这两种方法在两种物体大小、形状或者位置不同的时候都会存在很严重的像素黑洞无法修补的问题，比如第一张图像中的小物体放到第二张图像的大物体中，周围必然会存在很多无法填充的黑洞，严重影响美观。本发明提出的基于单样例引导物体表征拆分的图像编辑算法就可以很好的解决这个问题，通过交换两张图像表征中的物体部分，经过解码器重建两张图像，不仅实现了物体交换还实现了像素的自动修补，具有很好的应用性质。

表征学习在很多方面都有了一定的突破，包括了表征解耦学习、通用表征学习、物体表征学习。表征解耦学习可以提取到图像中特定的属性信息，比如颜色、形状，到指定表征中；通用表征学习意图通过预训练得到一个初始化较好的模型用于其他下游任务，提高下游任务的性能；物体表征学习就是本发明所指出的一种表征学习方法，可以把图像中的物体直接抽取到特定的表征中。目前部分半监督方式的解耦学习方法可以迁移到物体表征学习，但是需要标注大量样本，与此同时，另一类工作关心如何去学习得到物体的分割图而不关心表征空间，它们所使用的数据往往也都需要标注大量分割像素，大大降低了这类模型的普适性。截止到目前，大多数使用无监督方式的物体表征学习只能解决含有多个物体的简单场景，这些方法不能解决复杂场景下的表征学习，这在很多任务上限制了它们的应用，另一方面，因为需要大量的标注数据集，目前存在的监督方式的物体表征学习方法几乎没有，一些使用半监督方式的表征解耦方法通过标注物体的信息作为标签可以迁移到物体表征学习上，但是这样仍然需要大量的标注样本。还有一些工作关心如何获得物体的分割图，它们并不会去学习结构化的物体表征。