[发明专利]跨模态信息匹配、处理方法、装置、电子设备及存储介质

说明书

本公开提供了一种跨模态信息匹配、处理方法、装置、电子设备及存储介质，涉及人工智能技术领域，尤其涉及知识图谱、自然语言处理等技术领域，可应用于AIGC、智能创作等场景。具体实现方案为：响应于检测到信息匹配指令，确定第一模态信息的第一模态表征和第二模态信息的第二模态表征；根据第一模态表征和第二模态表征，确定第一模态信息和第二模态信息之间的第一相似度；确定与第一模态信息的标识信息对应的标识表征，标识信息表征第一模态信息的语义级别的信息；根据标识表征和第二模态表征，确定标识信息与第二模态信息之间的第二相似度；根据第一相似度和第二相似度，确定第一模态信息和第二模态信息之间的匹配度。

技术领域

本公开涉及人工智能技术领域，尤其涉及知识图谱、自然语言处理等技术领域，可应用于AIGC(Artificial Intelligence Generated Content，人工智能创作内容)、智能创作等场景。具体地，涉及一种跨模态信息匹配、处理方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，人工智能技术也得以发展。人工智能技术可以包括计算机视觉技术、语音识别技术、自然语言处理技术、机器学习、深度学习、大数据处理技术和知识图谱技术等。

人工智能技术在各个应用领域得到了广泛应用。例如，可以利用人工智能技术进行跨模态信息匹配。

发明内容

本公开提供了一种跨模态信息匹配、处理方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种跨模态信息匹配方法，包括：响应于检测到信息匹配指令，确定第一模态信息的第一模态表征和第二模态信息的第二模态表征，其中，上述第一模态信息是文本信息，上述第二模态信息与上述第一模态信息的模态不同；根据上述第一模态表征和上述第二模态表征，确定上述第一模态信息和上述第二模态信息之间的第一相似度；确定与上述第一模态信息的标识信息对应的标识表征，其中，上述标识信息表征上述第一模态信息的语义级别的信息；根据上述标识表征和上述第二模态表征，确定上述标识信息与上述第二模态信息之间的第二相似度；以及，根据上述第一相似度和上述第二相似度，确定上述第一模态信息和上述第二模态信息之间的匹配度。

根据本公开的另一方面，提供了一种跨模态信息处理方法，包括：响应于检测到信息处理指令，获取待处理第一模态信息和多个待匹配第二模态信息；利用根据本公开上述的方法确定上述待处理第一模态信息和上述多个待匹配第二模态信息各自之间的匹配度；以及，根据上述待处理第一模态信息和上述多个待匹配第二模态信息各自之间的匹配度，从上述多个待匹配第二模态信息中确定与上述待处理第一模态信息对应的匹配第二模态信息。

根据本公开的另一方面，提供了一种跨模态信息匹配装置，包括：第一确定模块，用于响应于检测到信息匹配指令，确定第一模态信息的第一模态表征和第二模态信息的第二模态表征，其中，上述第一模态信息是文本信息，上述第二模态信息与上述第一模态信息的模态不同；第二确定模块，用于根据上述第一模态表征和上述第二模态表征，确定上述第一模态信息和上述第二模态信息之间的第一相似度；第三确定模块，用于确定与上述第一模态信息的标识信息对应的标识表征，其中，上述标识信息表征上述第一模态信息的语义级别的信息；第四确定模块，用于根据上述标识表征和上述第二模态表征，确定上述标识信息与上述第二模态信息之间的第二相似度；以及，第五确定模块，用于根据上述第一相似度和上述第二相似度，确定上述第一模态信息和上述第二模态信息之间的匹配度。

根据本公开的另一方面，提供了一种跨模态信息处理装置，包括：获取模块，用于响应于检测到信息处理指令，获取待处理第一模态信息和多个待匹配第二模态信息；第八确定模块，用于利用根据本公开上述的装置确定上述待处理第一模态信息和上述多个待匹配第二模态信息各自之间的匹配度；以及，第九确定模块，用于根据上述待处理第一模态信息和上述多个待匹配第二模态信息各自之间的匹配度，从上述多个待匹配第二模态信息中确定与上述待处理第一模态信息对应的匹配第二模态信息。