[发明专利]跨模态信息匹配、处理方法、装置、电子设备及存储介质

权利要求书

1.一种跨模态信息匹配方法，包括：

响应于检测到信息匹配指令，确定第一模态信息的第一模态表征和第二模态信息的第二模态表征，其中，所述第一模态信息是文本信息，所述第二模态信息与所述第一模态信息的模态不同；

根据所述第一模态表征和所述第二模态表征，确定所述第一模态信息和所述第二模态信息之间的第一相似度；

确定与所述第一模态信息的标识信息对应的标识表征，其中，所述标识信息表征所述第一模态信息的语义级别的信息，所述标识表征是根据与所述标识信息的对应的至少一个候选第二模态表征确定的，所述候选第二模态表征是候选第二模态信息的模态表征，至少一个所述候选第二模态信息是与候选第一模态信息的候选标识信息具有第二映射关系的信息；

根据所述标识表征和所述第二模态表征，确定所述标识信息与所述第二模态信息之间的第二相似度；以及

根据所述第一相似度和所述第二相似度，确定所述第一模态信息和所述第二模态信息之间的匹配度。

2.根据权利要求1所述的方法，其中，所述确定与所述第一模态信息的标识信息对应的标识表征，包括：

根据所述第一模态信息，得到所述第一模态信息的实体信息；

确定与所述实体信息对应的标识信息，得到与所述第一模态信息对应的标识信息；以及

根据与所述第一模态信息对应的标识信息，得到与所述第一模态信息的标识信息对应的标识表征。

3.根据权利要求2所述的方法，其中，所述根据所述第一模态信息，得到所述第一模态信息的实体信息，包括：

对所述第一模态信息进行实体链指，得到所述第一模态信息的实体信息。

4. 根据权利要求2或3所述的方法，其中，所述根据与所述第一模态信息对应的标识信息，得到与所述第一模态信息的标识信息对应的标识表征，包括：

根据与所述第一模态信息对应的标识信息，从第一映射关系集中确定与所述标识信息相匹配的第一匹配标识信息，其中，所述第一映射关系集包括至少一个第一映射关系，所述第一映射关系表征候选第一模态信息的候选标识信息和所述候选标识信息的标识表征之间的关系；以及

将与所述第一匹配标识信息对应的标识表征确定为与所述第一模态信息的标识信息对应的标识表征。

5. 根据权利要求4所述的方法，还包括：

根据媒体资源信息集，确定第二映射关系集，其中，所述媒体资源信息集包括至少一个媒体资源信息，所述媒体资源信息包括所述候选第一模态信息和所述候选第二模态信息，所述第二映射关系集包括至少一个第二映射关系；以及

根据所述第二映射关系集，确定所述第一映射关系集。

6.根据权利要求5所述的方法，其中，所述根据所述第二映射关系集，确定所述第一映射关系集，包括：

针对所述第二映射关系集中的第二映射关系，

确定所述第二映射关系中的至少一个候选第二模态信息各自的候选第二模态表征，得到至少一个候选第二模态表征；

对所述至少一个候选第二模态表征进行聚合，得到所述候选标识信息的标识表征；以及

根据所述候选第一模态信息的候选标识信息和所述候选标识信息的标识表征，得到所述第一映射关系。

7. 根据权利要求6所述的方法，其中，所述对所述至少一个候选第二模态表征进行聚合，得到所述候选标识信息的标识表征，包括：

对所述至少一个候选第二模态表征进行聚类，得到聚类结果；以及

根据所述聚类结果，确定所述候选标识信息的标识表征。

8. 根据权利要求6所述的方法，其中，所述对所述至少一个候选第二模态表征进行聚合，得到所述候选标识信息的标识表征，包括：

对所述至少一个候选第二模态表征进行融合，得到融合表征；以及

将所述融合表征确定为所述候选标识信息的标识表征。