[发明专利]一种基于自动化建模引擎的服装的检索模型及其方法

权利要求书

1.一种基于自动化建模引擎的服装的检索模型，其特征在于，包括：

有监督特征提取模块，利用自动化建模引擎，根据服装图像的属性标签训练得到多目标服装属性预测模型，和根据服装图像的关键点坐标训练得到关键点属性预测模型，并将所述多目标服装属性预测模型的全连接特征向量层的输出作为属性特征向量，和

将所述关键点属性预测模型的全连接特征向量层的输出作为关键点特征向量；

特征降维模块，用于训练变分自编码模型，具体包括：

特征向量提取单元，采用所述有监督特征提取模块提取变分自编码模型中的输入图像的特征向量，其中，所述输入图像的特征向量包括输入图像的属性特征向量和输入图像的关键点特征向量；和

采用所述有监督特征提取模块提取变分自编码模型中的输出图像的特征向量，其中，所述输出图像的特征向量包括输出图像的属性特征向量和输出图像的关键点特征向量；

模型训练单元，将所述输入图像的特征向量和所述输出图像的特征向量的均方差作为变分自编码模型的损失函数中的重构图像损失，以完成对变分自编码模型的模型训练；

特征匹配模块，用于将待识别图像输入至训练完成的所述变分自编码模型中，以得到服装图像特征向量，计算所述服装图像特征向量与检索库中的各检索特征向量之间的相似度；

其中，在所述变分自编码模型的所述损失函数包括：图像重建损失和KL散度损失，如下述公式所示：

；

其中，Loss用于表示所述损失函数，L_rec用于表示所述图像重建损失，L_kl用于表示所述KL散度损失；

根据所述输入图像的特征向量和所述输出图像的特征向量的均方差计算得到所述图像重建损失，如下述公式所示：

；

其中，α用于表示属性特征在损失函数中所占权重，β用于表示关键点特征在损失函数中所占权重，m用于表示属性特征向量的个数，k用于表示属性编号，D用于表示计算欧几里得距离函数，j用于表示关键点类别的编号，n用于表示关键点特征向量的个数，l_k用于表示第k个属性所对应的输入图像的属性特征向量，用于表示第k个属性所对应的输出图像的属性特征向量，v_j用于表示第j个关键点类别所对应的输入图像的关键点特征向量，用于表示第j个关键点类别所对应的输出图像的关键点特征向量；

所述KL散度损失如下述公式所示：

；

其中，D_kl用于表示计算两个分布的KL散度的函数，Z用于表示所述变分自编码模型的解码网络输出所表示的分布，N用于表示标准正态分布。

2.如权利要求1所述的基于自动化建模引擎的服装的检索模型，其特征在于，所述有监督特征提取模块包括属性提取单元和关键点提取单元；

所述属性提取单元，采用所述自动化建模引擎根据服装图像的属性标签训练得到对应的多目标分类模型组，所述自动化建模引擎从所述多目标分类模型组中选择最优的多目标分类模型，并采用选择的所述多目标分类模型进行的属性标签的特征提取，保留全连接特征向量层输出的属性特征向量；

所述关键点提取单元，采用所述自动化建模引擎根据服装图像的关键点坐标训练得到对应的关键点预测模型组，所述自动化建模引擎从所述关键点预测模型组中选择最优的关键点预测模型，并采用选择的所述关键点预测模型进行的关键点坐标的特征提取，保留全连接特征向量层输出的关键点特征向量。

3.如权利要求1所述的基于自动化建模引擎的服装的检索模型，其特征在于，每个所述属性标签对应一个所述属性特征向量；

每类所述关键点坐标对应一个所述关键点特征向量。

4.如权利要求1所述的基于自动化建模引擎的服装的检索模型，其特征在于，所述特征匹配模块还包括：

排序单元，用于将所述相似度按照预设顺序进行排序。

5.如权利要求1所述的基于自动化建模引擎的服装的检索模型，其特征在于，所述属性标签包括服装类别、服装部件名称、服装部件形状、面料、图案、风格和款式。

6.如权利要求1-3任一所述的基于自动化建模引擎的服装的检索模型，其特征在于，每类所述关键点坐标包括服装部件轮廓的关键点坐标。