[发明专利]一种适于多模态知识图谱的实体对齐方法及设备

说明书

本发明公开了一种适于多模态知识图谱的实体对齐方法及设备，所述方法包括以下步骤：获取两个多模态知识图谱的数据；将各个模态的数据投影到双曲空间；使用双曲图卷积神经网络学习实体的结构特征和视觉特征；融合多模态特征；以双曲空间中距离表示实体相似度；根据相似度进行实体识别对齐。本发明方法将欧几里得表示扩展到双曲面流形，并采用双曲图卷积网络学习实体的结构表示；关于视觉信息，使用densenet模型生成图像嵌入，并使用双曲图卷积网络将其嵌入到双曲线空间中；最后，在双曲空间中合并结构嵌入和图像嵌入以预测潜在的对齐方式，特别适用于多模态知识图谱的实体对齐和融合中。

技术领域

本发明涉及自然语言处理中的知识图谱技术领域，尤其涉及一种适于多模态知识图谱的实体对齐方法及设备。

背景技术

近年来，知识图谱（KG）已成为以RDF（Resource Description Framework，资源描述框架）三元组的形式表示事实知识的流行数据结构，它可以促进一系列下游的实际应用，例如问题解答，信息提取等。当前，现存大量的常见的KG（例如，DBpedia，YAGO，Google的Knowledge Vault）以及特定于某些领域的KG（例如医药和分子KGs）。同时，将多媒体信息整合到KG中的趋势正在增长，以支持涉及多种模式下数据交互的跨模式任务，例如图像和视频检索，视频摘要，视觉实体消歧和视觉问题解答等。为此，最近已经建造了一些多模态知识图谱（MMKG）。

在这项工作中，在不失一般性的前提下考虑了MMKG具有两种模式，即KG结构信息和视觉信息。但是，现有的MMKG通常来自有限的数据源，因此可能会受到知识域覆盖率较低的困扰。为了提高这些MMKG的覆盖范围，一种可行的方法是整合其他MMKG的有用知识。特别是，在不同的KG中识别等效实体是合并MMKG之间知识的关键步骤，因为实体是连接这些异构KG的锚节点。此过程也称为多模式实体对齐（MMEA）。

MMEA是一项艰巨的任务，因为它需要对多模态信息进行建模和集成。利用KG结构信息，现有实体对齐（EA）接近可以直接用于为MMEA生成实体结构嵌入。这些方法通常利用基于TransE或基于图卷积网络GCN的模型来学习各个KG的实体表示，然后使用种子实体对表示进行训练，以实现对潜在对齐的实体对的预测。然而，所有这些方法都在欧几里得空间中学习实体表示，这在嵌入具有无标度或层次结构的真实世界图时会导致较大的失真。

关于视觉信息，已经利用VGG（Visual Geometry Group）模型学习与实体关联的图像的嵌入，然后将其用于对齐。但是，VGG模型无法从图像中充分提取有用的特征，从而限制了对齐的有效性。为提高MMEA模型的整体有效性，应仔细整合来自这两种方式的信息。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开了一种适于多模态知识图谱的实体对齐方法及设备，所述方法将欧几里得表示扩展到双曲面流形，并采用双曲图卷积网络（HGCN，Hyperbolic Graph Convolutional Networks）学习实体的结构表示；关于视觉信息，使用densenet模型生成图像嵌入，并使用HGCN将其嵌入到双曲线空间中；最后，在双曲空间中合并结构嵌入和图像嵌入以预测潜在的对齐方式。

本发明公开了一种适于多模态知识图谱的实体对齐方法，包括以下步骤：

步骤1，获取两个多模态知识图谱和的数据；

步骤2，将各个模态的数据投影到双曲空间；

步骤3，使用双曲图卷积神经网络学习实体的结构特征和视觉特征；

步骤4，融合多模态特征；

步骤5，以双曲空间中距离表示实体相似度；

步骤6，根据相似度进行实体识别对齐。