[发明专利]多模态数据检索方法、装置、介质及电子设备

说明书

本公开涉及一种多模态数据检索方法、装置、介质及电子设备，包括：将目标检索数据输入与目标检索数据的模态相对应的第一特征提取网络中，获取目标检索数据的数据特征；将数据特征输入与目标检索数据的模态相对应的第二特征提取网络中，获取与目标检索数据所对应的目标检索特征，其中，各模态分别对应的各第二特征提取网络之间权重共享；根据目标检索特征进行检索。这样，能够提取得到表现更好的目标检索特征，且由于该各个模态之间的第二特征提取网络权重共享，不仅能够优化网络模型的结构，提高网络模型的训练效率，而且还提高了无论是在任何模态的单模态检索或跨模态检索的检索任务中的检索精度。

技术领域

本公开涉及数据处理领域，具体地，涉及一种多模态数据检索方法、装置、介质及电子设备。

背景技术

基于内容的多模态匹配技术在互联网业务中有着大量的应用场景，包括但不限于图像检索(如以图搜图)、跨模态检索(如以文搜图、以图搜文、以文搜视频等)、文本匹配(以文搜文)。为了获得更好的匹配精度，现有技术中在处理跨模态检索任务的情况下，需要将不同模态的数据拼接作为网络模型的输入，并提取该拼接数据的数据特征之后，再进行跨模态检索，该过程在实际应用时非常低效，达不到实际场景下的速度要求。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种多模态数据检索方法，所述方法包括：将目标检索数据输入与所述目标检索数据的模态相对应的第一特征提取网络中，获取所述目标检索数据的数据特征；将所述数据特征输入与所述目标检索数据的模态相对应的第二特征提取网络中，获取与所述目标检索数据所对应的目标检索特征，其中，各模态分别对应的各第二特征提取网络之间权重共享；根据所述目标检索特征进行检索。

第二方面，本公开提供一种多模态数据检索装置，所述装置包括：第一处理模块，用于将目标检索数据输入与所述目标检索数据的模态相对应的第一特征提取网络中，获取所述目标检索数据的数据特征；第二处理模块，用于将所述数据特征输入与所述目标检索数据的模态相对应的第二特征提取网络中，获取与所述目标检索数据所对应的目标检索特征，其中，各模态分别对应的各第二特征提取网络之间权重共享；检索模块，用于根据所述目标检索特征进行检索。

第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面中所述方法的步骤。

第四方面，本公开提供一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面所述方法的步骤。

通过上述技术方案，能够通过与不同模态的数据分别对应的第一特征提取网络和该第二特征提取网络提取得到更加适合多模态检索的目标检索特征，并且由于该各个模态之间的第二特征提取网络权重共享，不仅能够压缩整个网络模型中所使用的参数数量，优化了网络模型的结构，提高了网络模型的训练效率，而且还提高了无论是在任何模态的单模态检索或跨模态检索的检索任务中的检索精度。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：

图1是根据本公开一示例性实施例示出的一种多模态数据检索方法的流程图。

图2是根据本公开又一示例性实施例示出的一种多模态数据检索方法中对第一特征提取网络和所述第二特征提取网络进行预训练的方法的流程图。