[发明专利]多模态事理图谱的构建方法、系统和可读存储介质

说明书

本发明公开的一种多模态事理图谱的构建方法、系统和可读存储介质，其中方法包括：基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取；将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果；基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建。本发明能够实现跨模态的知识表示，通过多维度描述进行查证补全使知识可信度更高；同时能够实现多模态知识融合消歧，方便计算、推理，为知识推理提供多层次基础支撑，为事理图谱应用落地提供保障；另外可以使得知识类型更加丰富、立体。

技术领域

本发明涉及知识工程技术领域，更具体的，涉及一种多模态事理图谱的构建方法、系统和可读存储介质。

背景技术

事理图谱（Event Logic Graph，缩写ELG），是一个基于知识图谱本体与实体概念之上的事理逻辑知识库，描述了事件之间的演化规律和模式。结构上，事理图谱是一个有向有环图，其中节点代表事件，有向边代表事件之间的顺承、因果、条件和上下位等事理逻辑关系。

在实际的应用场景中，不同行业领域的数据来源广泛、形式多样，而目前业界对事理图谱的研究，主要关注文本和结构化数据，这就有很大的局限性，没有考虑不同模态数据之间的对应和依赖关系，最终融合的事理图谱无法很好地揭示多模态数据本身蕴含的各种关联，利用多模态的数据也可以用来帮助提升实体消歧、事件消歧的效果。例如，要将文本“有人看到李某在北京的一家超市购物”中的实体“李某”链接到事理图谱中。但图谱中可能包含两个不同的李某。一个是网球选手，另外一个是歌手。假如仅仅依靠文本信息，则无法消除这个歧义。但如果这段新闻还配有对应的图片，同时事理图谱中李某实体也关联对应的照片，则能通过图片对齐来提升实体消歧、事件消歧的效果。

发明内容

本发明的目的是提供一种多模态事理图谱的构建方法、系统和可读存储介质，能够实现跨模态的知识表示，以及多模态知识融合消歧，方便计算、推理，使得知识类型更加丰富和立体。

本发明第一方面提供了一种多模态事理图谱的构建方法，包括以下步骤：

基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取；

将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果；

基于所述计算结果调用事理图谱进行概念层以及数据层的数据链接，以完成所述多模态事理图谱的构建。

本方案中，所述基于预设模型对训练数据提取单模态数据特征，进而得到对应多模态数据的依赖关系，基于所述依赖关系对所述训练数据进行多模态数据抽取，具体包括：

基于所述训练数据的文本、图像、音频以及视频数据构建所述预设模型；

基于所述预设模型完成所述单模态数据特征的提取，其中包括图像数据语义特征提取、音频数据语义特征提取、视频数据语义特征提取以及文本数据语义特征提取；

基于预设抽取方式对所述训练数据进行多模态数据抽取，其中，所述抽取方式包括实体抽取、实体消歧、实体属性抽取、实体关系抽取以及事件抽取。

本方案中，所述将抽取到的数据同一向量化表示，并基于量化后的语义信息进行计算得到计算结果，具体包括：

基于预设嵌入方式将所述抽取到的数据投射到同一向量空间中完成所述同一向量化表示，其中，所述嵌入方式包括词嵌入、无监督图嵌入、属性图嵌入以及异构图嵌入；

通过量化语义信息计算本体间、实体间、事件本体间以及事件间的相似度，进而得到事理关系置信强度作为所述计算结果。