[发明专利]图像检索模型的训练方法、装置、设备和存储介质

权利要求书

1.一种图像检索模型的训练方法，其特征在于，包括：

根据第一子网络、预设图像库中的第一素描图像和第一RGB图像，生成所述第一素描图像对应的第二RGB图像，以及所述第一RGB图像对应的第二素描图像；

根据所述第一素描图像、所述第二素描图像、所述第一RGB图像和所述第二RGB图像训练所述第一子网络，得到第一目标子网络；

使用所述第一目标子网络获取所述第一素描图像对应的目标RGB图像，以及所述第一RGB图像对应的目标素描图像；

将所述目标素描图像、所述目标RGB图像、所述第一素描图像和所述第一RGB图像转换至同一模态，得到目标模态图像；

提取所述目标模态图像的特征，得到特征向量；

根据所述特征向量训练预设的第二子网络，得到第二目标子网络；

根据所述第一目标子网络和所述第二目标子网络，确定图像检索模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一素描图像、所述第二素描图像、所述第一RGB图像和所述第二RGB图像训练所述第一子网络，得到第一目标子网络，包括：

根据所述第一素描图像、所述第二素描图像、所述第一RGB图像、所述第二RGB图像和预设损失函数确定第一损失值；

根据所述第一损失值对所述第一子网络进行对抗训练，得到训练后的第一子网络；

在所述训练后的第一子网络的损失值满足第一预设条件的情况下，确定所述训练后的第一子网络为所述第一目标子网络。

3.根据权利要求2所述的方法，其特征在于，所述使用所述第一目标子网络获取所述第一素描图像对应的目标RGB图像，以及所述第一RGB图像对应的目标素描图像，包括：

向所述第一目标子网络输入所述第一素描图像，输出所述第一素描图像对应的所述目标RGB图像；

向所述第一目标子网络输入所述第一RGB图像，输出所述第一RGB图像对应的所述目标素描图像。

4.根据权利要求1所述的方法，其特征在于，所述目标模态图像包括分别由所述第一素描图像、所述第二RGB图像、所述目标素描图像和所述目标RGB图像转换得到的第一图像、第二图像、第三图像和第四图像；所述提取所述目标模态图像的特征，得到特征向量，包括：

分别提取所述第一图像、第二图像、第三图像和第四图像的特征，得到所述第一图像对应的第一特征向量、所述第二图像对应的第二特征向量和所述第三图像对应的第三特征向量、所述第四图像对应的第四特征向量；

其中，所述特征向量包括所述第一特征向量、所述第二特征向量、所述第三特征向量和所述第四特征向量。

5.根据权利要求4所述的方法，其特征在于，所述根据所述特征向量训练预设的第二子网络，得到第二目标子网络，包括：

根据三元组损失函数和交叉熵损失函数确定第一损失函数；

根据所述第一特征向量、所述第二特征向量、所述第三特征向量、所述第四特征向量和所述第一损失函数确定第二损失值；

根据所述第二损失值对所述第二子网络进行训练，得到训练后的第二子网络；

在所述训练后的第二子网络的损失值满足第二预设条件的情况下，确定所述训练后的第二子网络为所述第二目标子网络。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标子网络和所述第二目标子网络，确定图像检索模型，包括：

将所述第一目标子网络和所述第二目标子网络以端到端的方式进行级联，得到所述图像检索模型。

7.根据权利要求1所述的方法，其特征在于，在所述根据第一子网络、预设图像库中的第一素描图像和第一RGB图像，生成所述第一素描图像对应的第二RGB图像，以及所述第一RGB图像对应的第二素描图像之前，所述方法还包括：

根据变分自编码器对所述第一素描图像和所述第一RGB图像进行编码解码处理。