[发明专利]基于关系增强负采样的多模态知识图谱补全方法与系统

说明书

本发明公开了一种基于关系增强负采样的多模态知识图谱补全方法与系统，提出了一种新的知识指导跨模态注意力机制，该机制集成了同一实体的多个关系来估计多模态语义特征的双向注意力权重，并通过相互力注意对关系无关特征进行总结，进而通过嵌入关系指导特征对多模态注意进行双向推理，同时，引入对比损失来训练对比语义采样器，从而得到更合适的采样分布。并且，将masked操作与gumbel‑softmax相结合，以确保有效的梯度反向传播。通过本发明公开的方案，可以采样出多模态知识图谱补全任务所需的高质量负样本，从而有效保障多模态知识图谱的应用质量。

技术领域

本发明涉及多模态知识图谱技术领域，尤其涉及一种基于关系增强负采样的多模态知识图谱补全方法与系统。

背景技术

近年来，多模态知识图谱蓬勃发展，它通过补充多模态数据（如视觉和音频属性）来扩展传统知识图谱（KG），为传统知识图谱的符号提供物理世界意义。各种下游应用，例如多模态命名体识别、视觉问答和推荐系统等都有一些相关研究。然而，由于多模态语料库的累积不足，现有的多模态知识图谱可能会比传统知识图谱遭受更严重的不完整性，这会严重影响其可用性和有效性。在这种情况下，以自动推断缺失事实为目标的多模态场景知识图补全（KGC）解决方案引起了广泛关注。与此同时，以前的KGC方法主要尝试通过均匀采样来构造负样本，在训练的后期会遇到消失梯度问题。因此，迫切需要针对多模态知识图谱专门设计的负采样策略。

目前为止，已有少许相关的技术方案与研究成果，部分代表性的公开技术方法涉及以下三种类型：

一、传统的知识图谱补全方法。

传统的知识图谱补全方法最具有代表性的是基于翻译的模型，最早的TransE模型假设实体和关系的向量满足“头实体+关系=尾实体”，据此来学习每个实体和关系的向量表示。后续在翻译模型上的方法，如TransD模型，TransH模型和TransR模型则是对TransE模型的优化和改进，进一步考虑到了不同关系的一对多、多对一的特性。另一种技术是基于语义匹配的方法，包括RESCAL（一种双线性模型），DistMult（一种简化的双线性模型），ComplEx（Distmul的改进模型）等等。然而这些方法只注重于构建一个更好的评分函数，而忽略了负采样策略的重要性。

二、针对知识图谱补全的负采样策略.

近年来，一些有效的抽样策略被提出来。例如，TransH模型定义了一个伯努利分布来代替头部或尾部以考虑复杂的关系，如1对多关系等，但它仍然是一个固定的抽样分布，因此缺乏灵活性。此外，IGAN模型和KBGAN模型都引入了生成对抗网络（GAN），以获得高质量的负样本，其中生成器接收正三元组作为输入并生成负采样分布，而鉴别器从生成器接收负三元组以产生回报，并通过策略梯度优化生成器。然而，这种基于GAN的方法更难训练，而且鉴别器产生的回报在训练过程中总是会发生变化，导致性能不稳定。为了解决这些问题，NScaching模型提出了一种高效的采样方案，使用额外的内存来缓存得分较大的负样本，并按权重对负三元组进行采样。此外，RotatE模型提出了一种自我对抗的负抽样，它使用每个负样本的得分函数来产生概率，作为相应负样本的损失权重。SAN考虑在KG中使用结构知识，并认为彼此邻域内的实体更有可能相互关联，因此使用仅限于实体k-hop邻域（k-邻）的实体子集作为困难样本。

总的来说，前面的方法已经证明了它们的有效性。核心点是利用KG的结构知识或利用负样本分数的信息来判断困难样本。然而，它们仍然存在两个问题：1）由于KG的不完全性，用结构知识训练的模型只能提供有限的得分信息；2）需要一种更有效的参数优化策略以利用KGC模型的负样本loss（损失）。尽管这些技术在传统知识图谱上取得了不错的性能，但它们还无法应用于多模态知识图谱。

三、多模态知识图谱。