[发明专利]基于单样例引导物体表征拆分的图像编辑方法

权利要求书

1.基于单样例引导物体表征拆分的图像编辑方法，包括如下步骤：

1)构建基于单样例的监督模块；

选取ResNet50网络作为编码器f_φ和解码器f_ψ，使用通用的全连接层网络作为分类器数据中的每一类图像都会标注一个单样例样本，所有的单样例样本进行数据增强并根据物体掩膜得到置换前景物体之后的ground-truth，具体而言对于输入的两个单样例图像对I_a,I′_a同时输入f_φ得到两张图像的表征向量，约束表征向量的前半部分为前景物体信息，后半部分为背景信息，重建约束包括两部分，一部分是将得到的表征直接输入f_ψ得到重建的原始图像，另一部分在表征域中，将两张图像对应表征的各自前半部分交换，得到交换后的混合表征，之后将混合表征输入到f_ψ得到重建的混合图像，利用L₂范式约束重建损失，让重建的原始图像和输入的图像保持一致并且让重建的混合图像与交换前景物体后的ground-truth图像保持一致在分类中根据图像中物体的标签进行表征空间前景物体和背景信息的约束其中p是使用分类器对{r_o,r_b,r′_o,r′_b}进行分类得到的预测概率；

2)构建单样例引导下的自监督模块中的对偶策略；

为利用数据中大量无标注的数据，构建了基于单样例引导的对偶自监督策略；对于随机输入的无标注图像I_u和有标注的单样例图像I_a，包含三部分的约束：重建原始图像约束、对偶交换约束和单样例的物体重建约束；对于随机输入的无标注图像I_u，同步骤1)让重建的原始图像与输入图像保持一致对于随机输入的无标注图像I_u和有标注的单样例图像I_a，同时经过编码器得到两个表征向量，分别为和[r_o,r_b]，利用交换操作，将和r_o互换，得到混合表征和将混合表征同时输入解码器得到重建的混合图像，之后再经过一次编码-交换-解码过程，如果物体表征能够被很好的拆分出来，最后得到的重建图像应该和输入保持一致为了确保编码的表征中前半部分是物体的信息，应该和输入的单样例图像I_a具有相同的前景物体，所以物体重建约束为其中M_a为单样例图像的前景物体的掩膜；

3)构建单样例引导下的自监督模块中的模糊分类策略；

对于大量无标注数据来说，图像中物体的标签是未知的，很难约束一个特定的物体被提取到固定的表征中，然而在无标注的数据中，物体的特征应该和背景的特征具有区别性，背景的特征应该和前景物体的特征不同；对于图像的表征空间来讲，如果表征中前半部分提取到的都是物体的信息，那么它应该可以很容易被分类为物体类别，所以通过设计模糊分类策略实现对于大量无标注图像的自监督训练，也能约束它们的表征能够被正确分类到前景物体和背景两类，模糊分类定义为其中

4)编辑基于单样例标注图像引导物体表征拆分的图像；

为了能够实现每一类图像只需要一张标注样本引导就可以进行图像物体表征拆分，在表征域对图像直接进行操作，可以利用所有的有标注单样例图像形成监督和引导下的自监督机制；基于编解码器结构，对于所有有标注的单样例图像，通过数据增强和步骤1)中重建、分类损失初步实现复杂背景下的物体表征拆分训练，对于大量无标注数据，通过步骤2)与步骤3)实现自监督机制，利用单样例样本引导无标注数据训练，通过对偶交换、重建损失、模糊分类实现在无标注数据上的物体表征拆分，最终实现单样例标注图像引导物体表征拆分的图像编辑。

2.如权利要求1所述的基于单样例引导物体表征拆分的图像编辑方法，其特征在于：步骤1)所述的数据中的每一类图像都会标注一个单样例样本，所有标注单样例样本数量为整体数据中的图像类别数量。

3.如权利要求1所述的基于单样例引导物体表征拆分的图像编辑方法，其特征在于：步骤1)所述的数据增强具体方式包括添加噪音、物体添加不同背景、翻转、缩放、位置、旋转。