[发明专利]训练试衣模型的方法、生成试衣图像的方法及相关装置

权利要求书

1.一种训练试衣模型的方法，其特征在于，试衣网络包括衣服编码网络、身份编码网络和试衣图像生成网络；

所述方法包括：

获取训练集，所述训练集包括多个训练数据，所述训练数据包括衣服图像和真实试衣图像，所述真实试衣图像包括模特穿有所述衣服图像中对应衣服的图像；

对所述衣服图像中的衣服按所述真实试衣图像中模特人体结构进行变形，得到变形后的衣服图像；

对所述真实试衣图像在所述衣服对应的区域进行掩模遮挡处理，得到掩模图像；

采用所述衣服编码网络对所述变形后的衣服图像进行特征提取，得到衣服特征编码，以及，采用所述身份编码网络对所述掩模图像进行特征提取，得到身份特征图；

将所述衣服特征编码和所述身份特征图输入所述试衣图像生成网络进行融合，得到预测试衣图像；

根据所述训练集中各所述真实试衣图像和各所述预测试衣图像的差异，对所述试衣网络进行迭代训练，直到所述试衣网络收敛，得到所述试衣模型。

2.根据权利要求1所述的方法，其特征在于，所述对所述衣服图像中的衣服按所述真实试衣图像中模特人体结构进行变形，得到变形后的衣服图像，包括：

采用衣服关键点检测算法对所述衣服图像进行关键点检测，获取衣服关键点信息；

采用人体关键点检测算法对所述真实试衣图像进行关键点检测，获取人体关键点信息；

计算所述衣服关键点信息和所述人体关键点信息之间的仿射变化矩阵；

将所述衣服图像中的衣服像素按所述仿射变化矩阵进行仿射变化，得到所述变形后的衣服图像。

3.根据权利要求1所述的方法，其特征在于，所述对所述真实试衣图像在所述衣服对应的区域进行掩模遮挡处理，得到掩模图像，包括：

采用人体解析算法对所述真实试衣图像进行部位解析，得到人体解析图；

根据所述人体解析图和所述衣服图像中衣服的类别，确定掩模矩阵；

将所述真实试衣图像和所述掩模矩阵对应位置相乘，得到所述掩模图像。

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述试衣网络还包括纹理编码网络，在所述将所述衣服特征编码和所述身份特征图输入所述试衣图像生成网络进行融合，得到预测试衣图像之前，还包括：

采用所述纹理编码网络对所述衣服图像进行纹理特征提取，得到至少一个纹理特征图；

所述将所述衣服特征编码和所述身份特征图输入所述试衣图像生成网络进行融合，得到预测试衣图像，包括：

将所述衣服特征编码、所述身份特征图和所述至少一个纹理特征图输入所述试衣图像生成网络进行融合，得到所述预测试衣图像。

5.根据权利要求1-3任意一项所述的方法，其特征在于，所述根据所述训练集中各所述真实试衣图像和各所述预测试衣图像的差异，对所述试衣网络进行迭代训练，直到所述试衣网络收敛，得到所述试衣模型，包括：

采用损失函数计算所述训练集中各所述真实试衣图像和各所述预测试衣图像的差异，其中，所述损失函数包括所述真实试衣图像和所述预测试衣图像之间的对抗损失、重构损失和感知损失，以及，所述真实试衣图像对应的掩模图像和所述预测试衣图像对应的掩模图像之间的掩模损失；

根据所述差异，对所述试衣网络进行迭代训练，直到所述试衣网络收敛，得到所述试衣模型。

6.根据权利要求5所述的方法，其特征在于，所述损失函数包括：

其中，为所述对抗损失，为所述重构损失，为所述感知损失，为所述掩模损失，α为所述重构损失的权重，β为所述感知损失的权重，δ为所述掩模损失的权重，I为所述真实试衣图像，I′为所述预测试衣图像，为由所述真实试衣图像提取得到的特征图，为由所述预测试衣图像提取得到的特征图，P为所述的个数或所述的个数，M_I为所述真实试衣图像对应的掩模图像，M_I′为所述预测试衣图像对应的掩模图像。