[发明专利]一种基于2D图像的虚拟试衣方法

权利要求书

1.一种基于2D图像的虚拟试衣方法，其特征在于，包括如下步骤：

步骤（1），输入试穿者的2D图像、人体语义分割图和服装图像，经过预处理操作将人体语义分割图分为试穿区域和非试穿区域两部分，对服装图像进行掩模和修正处理，生成服装掩模图和服装修正图；

步骤（2），输入服装语义图和非试穿区域语义图，经过端到端的语义拼接网络，在引入集成判别器和多层次损失函数的约束下，生成试穿后的人体语义分割图；

步骤（3），根据试穿后的语义分割图、人体姿态图和服装图像，通过服装变形网络，在引入频域分类器和正则约束损失函数的约束下，预测出变形后的服装图像；

步骤（3）中服装变形网络是端到端的网络，输入是试穿后的语义分割图、服装图像和人体姿态图，在人体姿态图中若干个关键点位置的约束下，经过两条支路通过深度卷积网络分别提取试穿后的语义分割图和服装图像的关键点位置的像素信息，引入频域分类器，使用插值法预测变形后服装图像的像素信息，引入正则约束损失函数控制服装的变形程度，最后输出变形后的服装图像；

正则约束损失函数表示为：

上式中，分别表示变形前后坐标点的x值，

分别表示变形前后坐标点的y值，

表示x轴方向上坐标的变化量的平方，

表示y方向上坐标的变化量，α,β为两个可学习的参数，用于控制服装在x轴和y轴方向的变形程度；

服装变形网络的损失函数表示为：

上式中，是条件对抗损失函数，是像素交叉熵损失函数，是正则约束损失函数，λ₁，λ₂，λ₃是系数，用于调节三个损失函数对总损失函数的影响；

步骤（3）中频域分类器指在频域空间，通过设置阈值来对特征进行划分，一方面更多地把关注点放在生成低频特征信息上，增强图像的内容信息，另一方面借助试穿后的语义分割图区别开噪点和高频信息，提取更多有用的高频信息，使用插值法增强图像高频区域的纹理精细度，从而提高生成图片的质量；频域分类器的具体流程包括：

首先，由卷积层提取服装图像的空间域特征图，使用离散傅里叶变换得到频域特征图，可表示为：

其中，S_i,j表示空间域特征图中第i行第j列的空间特征分量，F_i,j表示频域特征图中第i行第j列的频率特征分量，DFT()是离散傅里叶变换函数；

然后，通过神经网络结构学习得到频域特征图中每个频率特征分量的重要性权值，将权值大于阈值的频率特征分量标识为低频信息特征分量，小于阈值的频率特征分量标识为高频信息特征分量，可表示为：

其中，表示第i行第j列类别为z的频率特征分量，当z=0时表示该频率特征分量为低频信息特征分量，当z=1时表示该频率特征分量为高频信息特征分量，k_i,j表示第i行第j列频率特征分量的重要性权值，λ是阈值；

最后，通过试穿后的语义分割图中的位置信息进一步在高频信息特征通道中筛选出噪声信息，使用低通滤波器来过滤掉图像噪声，使用插值法填充图像内容和纹理信息；

步骤（4），根据试穿者图像，对非试穿区域语义图进行着色得到非试穿区域彩色图，再与变形后的服装图像进行拼接得到粗糙的试穿结果图；

步骤（5），将粗糙的试穿结果图和试穿后的语义分割图输入到归一化网络中，计算并缩小伪影区域，最终得到精细的试穿结果图。