[发明专利]跨模态检索方法、网络训练方法、装置、设备及介质

权利要求书

1.一种跨模态检索方法，其特征在于，包括：

获取待检索数据和候选数据；所述待检索数据和所述候选数据对应不同的模态；

基于跨模态检索网络提取所述待检索数据的第一特征和所述候选数据的第二特征；

根据所述第一特征和所述第二特征的匹配度，从所述候选数据中检索出与所述待检索数据匹配的数据；

其中，所述跨模态检索网络为基于样本待检索数据、与所述样本待检索数据匹配的关联样本数据以及与所述样本待检索数据非匹配的非关联样本数据，对对抗网络中的与所述样本待检索数据对应的第一样本生成网络、与所述关联样本数据对应的第二样本生成网络、与所述非关联样本数据对应的第三样本生成网络进行对抗训练得到；所述关联样本数据与所述样本待检索数据对应不同的模态，所述关联样本数据与所述非关联样本数据对应相同的模态。

2.根据权利要求1所述的跨模态检索方法，其特征在于，所述跨模态检索网络包括与所述第一样本生成网络对应的第一生成网络、与所述第二样本生成网络对应的第二生成网络以及与所述第三样本生成网络对应的第三生成网络，所述基于跨模态检索网络提取所述待检索数据的第一特征和所述候选数据的第二特征，包括：

将所述待检索数据和所述候选数据输入所述跨模态检索网络；

基于所述第一生成网络提取所述第一特征；

根据所述第二生成网络和所述第三生成网络提取所述第二特征。

3.根据权利要求1或2所述的跨模态检索方法，其特征在于，所述根据所述第一特征和所述第二特征的匹配度，从所述候选数据中检索出与所述待检索数据匹配的数据，包括：

确定所述第一特征与所述第二特征之间的所述匹配度；

将目标第二特征对应的候选数据，作为所述与所述待检索数据匹配的数据；所述目标第二特征表征与所述第一特征的匹配度满足预设条件的第二特征。

4.一种跨模态检索网络的训练方法，其特征在于，包括：

获取样本待检索数据、与所述样本待检索数据匹配的关联样本数据以及与所述样本待检索数据非匹配的非关联样本数据；所述关联样本数据与所述样本待检索数据对应不同的模态，所述关联样本数据与所述非关联样本数据对应相同的模态；

将所述样本待检索数据、所述关联样本数据、所述非关联样本数据输入对抗网络中的第一样本生成网络、第二样本生成网络、第三样本生成网络，得到所述样本待检索数据的样本特征、所述关联样本数据的关联样本特征、所述非关联样本数据的非关联样本特征；

基于所述样本特征、所述关联样本特征和所述非关联样本特征对所述对抗网络进行对抗训练，得到跨模态检索网络。

5.根据权利要求4所述的跨模态检索网络的训练方法，其特征在于，所述将所述样本待检索数据、所述关联样本数据、所述非关联样本数据输入对抗网络中的第一样本生成网络、第二样本生成网络、第三样本生成网络，得到所述样本待检索数据的样本特征、所述关联样本数据的关联样本特征、所述非关联样本数据的非关联样本特征，包括：

将所述样本待检索数据输入所述第一样本生成网络，基于所述第一样本生成网络提取所述样本特征；

将所述关联样本数据输入所述第二样本生成网络，根据所述第二样本生成网络提取所述关联样本特征；

将所述非关联样本数据输入所述第三样本生成网络，基于所述第三样本生成网络提取所述非关联样本特征。