[发明专利]多模态信息库的检索方法、管理方法、装置、设备和介质

权利要求书

1.一种用于多模态信息库的检索方法，其中，所述多模态信息库包括多条目标信息，每条目标信息包括第一模态信息和第二模态信息，所述方法包括：

响应于接收到包括所述第一模态信息的检索信息，使用第一多模态特征提取模块，从所述检索信息的第一模态信息中提取所述检索信息的第一模态特征，其中，所述第一模态信息为图像信息；

使用主体检测模块，从所述检索信息的第一模态信息中提取一条或多条主体信息，其中所述主体信息为所述第一模态信息中的对应于目标检测框的信息，并且所述目标检测框是基于置信度、尺寸以及位置过滤后所得到的；

对于每条主体信息，使用图像特征提取模块，从该主体信息中提取该主体信息的单模态图像特征；

基于所述一条或多条主体信息的单模态图像特征与所述多条目标信息中的每条目标信息的单模态图像特征的相似度，选择所述多条目标信息中的第三组目标信息，其中，每条目标信息的单模态图像特征为使用所述图像特征提取模块从该目标信息的第一模态信息中提取的；

基于所述检索信息的第一模态特征与所述多条目标信息中的每条目标信息的第一模态特征和第二模态特征中的每一个的相似度，选择所述多条目标信息中的第一组目标信息，其中，每条目标信息的第一模态特征为使用所述第一多模态特征提取模块从该目标信息的第一模态信息中提取的，每条目标信息的第二模态特征为使用第二多模态特征提取模块从该目标信息的第二模态信息中提取的；以及

基于所述第一组目标信息，生成检索结果，

其中，所述选择所述多条目标信息中的第一组目标信息包括：

对于所述第三组目标信息中的每条目标信息，基于所述检索信息的第一模态特征与该目标信息的第一模态特征的相似度和所述检索信息的第一模态特征与该目标信息的第二模态特征的相似度，计算该目标信息的相似度分数；以及

基于所述第三组目标信息中的每条目标信息的相似度分数，从所述第三组目标信息中选择所述第一组目标信息。

2.根据权利要求1所述的方法，其中，所述选择所述多条目标信息中的第一组目标信息包括：

基于所述检索信息的第一模态特征与所述多条目标信息中的每条目标信息的第一模态特征的相似度，选择所述多条目标信息中的第二组目标信息；以及

基于所述检索信息的第一模态特征与所述第二组目标中的每条目标信息的第二模态特征的相似度，从所述第二组目标信息中选择所述第一组目标信息。

3.根据权利要求1所述的方法，其中，所述一条或多条主体信息包括多条主体信息，并且其中，所述选择所述多条目标信息中的第三组目标信息包括：

对于每条主体信息，基于该主体信息的单模态图像特征与所述目标信息中的每条目标信息的单模态图像特征的相似度，选择所述多条目标信息中对应于该主体信息的多条目标信息；以及

选择对应于每条主体信息的多条目标信息，作为所述第三组目标信息。

4.根据权利要求1所述的方法，还包括，在基于所述第一组目标信息，生成检索结果之前：

响应于接收到包括所述第一模态信息和所述第二模态信息的检索信息，使用所述第一多模态特征提取模块，提取所述检索信息的第一模态特征，并且，使用所述第二多模态特征提取模块，提取所述检索信息的第二模态特征；

基于所述检索信息的第一模态特征和第二模态特征，生成所述检索信息的多模态特征；以及

基于所述检索信息的多模态特征与所述多条目标信息中的每条目标信息的多模态特征的相似度，选择所述多条目标信息中的第一组目标信息，其中，每条目标信息的多模态特征为基于该目标信息的第一模态特征和第二模态特征所生成的。

5.权利要求4所述的方法，其中，所述生成所述检索信息的多模态特征包括：

对于所述检索信息的第一模态特征和第二模态特征中的每一个，将该模态特征乘以该模态特征所对应的权重，得到该模态特征所对应的乘积；以及

对所述检索信息的第一模态特征和第二模态特征所对应的乘积之和进行归一化，得到所述检索信息的多模态特征。