[发明专利]多模态数据检索方法、装置、介质及电子设备

权利要求书

1.一种多模态数据检索方法，其特征在于，所述方法包括：

将目标检索数据输入与所述目标检索数据的模态相对应的第一特征提取网络中，获取所述目标检索数据的数据特征；

将所述数据特征输入与所述目标检索数据的模态相对应的第二特征提取网络中，获取与所述目标检索数据所对应的目标检索特征，其中，各模态分别对应的各第二特征提取网络之间权重共享；

根据所述目标检索特征进行检索。

2.根据权利要求1所述的方法，其特征在于，所述第一特征提取网络和所述第二特征提取网络通过预训练得到。

3.根据权利要求2所述的方法，其特征在于，所述第一特征提取网络和所述第二特征提取网络同时进行所述预训练，所述预训练方法包括：

将内容一致但模态不同的两个或多个第一样本数据分别输入与所述第一样本数据的模态相对应的所述第一特征提取网络中，得到所述第一样本数据的数据特征；

将所述第一样本数据的数据特征分别输入与所述第一样本数据相对应的所述第二特征提取网络中，获取与所述第一样本数据对应的检索特征；

根据获取的不同模态的所述第一样本数据所对应的所述检索特征之间的差异确定第一损失值，并根据所述第一损失值调整各模态对应的所述第一特征提取网络和所述第二特征提取网络。

4.根据权利要求3所述的方法，其特征在于，所述预训练方法还包括：

对属于图像模态或视频模态的第二样本数据进行图像增强，得到与所述第二样本数据对应的增强样本数据；

将所述第二样本数据和所述增强样本数据输入与所述图像模态或所述视频模态对应的所述第一特征提取网络中，分别获取所述第二样本数据和所述增强样本数据的数据特征；

将所述第二样本数据和所述增强样本数据的数据特征输入与所述图像模态或视频模态对应的所述第二特征提取网络中，分别获取所述第二样本数据和所述增强样本数据对应的检索特征；

根据所述第二样本数据和所述增强样本数据分别对应的所述检索特征之间的差异确定第二损失值，并根据所述第二损失值调整所述图像模态或所述视频模态对应的所述第一特征提取网络和所述第二特征提取网络。

5.根据权利要求3所述的方法，其特征在于，所述预训练方法还包括：

对属于文本模态的第三样本数据中的原始文本内容进行随机部分遮盖，得到与所述第三样本数据对应的掩码样本数据；

通过与所述文本模态对应的所述第一特征提取网络和与所述文本模态对应的所述第二特征提取网络提取所述掩码数据样本对应的检索特征；

根据所述掩码数据样本对应的所述检索特征预测所述掩码样本数据中被随机部分遮盖的预测文本；

将所述预测文本和所述原始文本内容之间差异确定第三损失值，并根据所述第三损失值调整所述文本模态对应的所述第一特征提取网络和所述第二特征提取网络。

6.根据权利要求2所述的方法，其特征在于，在将目标检索数据输入与所述目标检索数据的模态相对应的第一特征提取网络中，获取所述目标检索数据的数据特征之前，所述方法还包括：

获取目标检索任务；

根据所述目标检索任务所对应的目标模态确定需要进行所述微调训练的所述第一特征提取网络和所述第二特征提取网络；

根据所述目标检索任务所对应的第四样本数据，对所述第一特征提取网络和所述第二特征提取网络进行微调训练，并将所述第一特征提取网络和所述第二特征提取网络替换为经过所述微调训练的第一特征提取网络和经过所述微调训练的第二特征提取网络。

7.根据权利要求1-6中任一权利要求所述的方法，其特征在于，所述根据所述目标检索特征进行检索包括：

根据所述目标检索特征在检索数据库中对所述目标检索数据进行检索，所述检索数据库包括待检索数据和/或所述待检索数据对应的检索特征，其中，所述待检索数据对应的检索特征为通过与所述待检索数据的模态对应的所述第一特征提取网络和所述第二特征提取网络获取得到。

8.根据权利要求1-6中任一权利要求所述的方法，其特征在于，所述第二特征提取网络为Transformer模型网络。