[发明专利]一种基于Horn逻辑与图神经网络的场景图谱向量化方法

说明书

本发明公开一种基于Horn规则与图神经网络的场景谱向量化方法，本发明属于场景图谱表示学习领域，包括步骤：利用场景图谱的视觉三元组，从给定场景图谱中抽取Horn规则；利用Horn规则以及视觉三元组，经过推理以及筛选产生新的视觉三元组并添加到场景图谱中；采用实体向量与关系向量之间的图神经网络模型，对视觉三元组中实体向量与关系向量进行建模；采用实体向量与关系向量之间的翻译模型，建立得分函数作为图神经网络模型的输出模块；运用视觉三元组的预测和分类，以验证图神经网络模型的有效性。本发明首次提出利用Horn规则推理出更多视觉三元组，利用图神经网络建模，有效地解决了现有技术未能充分利用场景图谱的规则信息以及图结构信息的问题。

技术领域

本发明涉及场景图谱表示学习技术领域，具体涉及一种基于Horn逻辑与图神经网络的场景图谱向量化方法。

背景技术

图像场景图谱是对一幅图像所描绘场景的抽象的、结构化的表示。具体来说，图像场景图谱以图像场景图谱关系三元组(头部实体、关系、尾部实体)和图像场景图谱属性三元组(实体、属性类型、属性)的方式记录了图像中的两个实体、实体的属性以及两个实体之间的关系，并且每个实体在图像中都有一个对应的包围盒。图像场景图谱最先由Johnson等人提出，近来在计算机视觉和人工智能领域受到了关注，并有相关的研究成果，例如：利用图像场景图谱检索图像；从事先外部语料库学习的词向量中检索实体的词向量来辅助视觉问答；利用物体检测器和关系检测器生成图像场景图谱。

近年来，表示学习在知识图谱上的应用获得广泛的关注，并取得了巨大成功。表示学习旨在使用分布式表示方法，将实体与关系映射到一个低维的、连续的、实值的向量空间中，解决了知识图谱中的稀疏性问题，同时对于计算效率也有很大的提升。其中以基于翻译的模型表现最为突出。

在现有的场景图谱表示学习技术中，Zhu等人(2017)在视觉问答模型中融入了场景图谱中的实体类型的词向量来计算记忆向量，为模型加入了外部信息来辅助模型训练。Elhoseiny等人(2017)提出了一个图片与事实双向检索模型，而其中的事实就是从场景图谱中提取出来的。

但是目前场景图谱表示学习方法存在不足，具体地：

(1)上述工作的词向量都是利用外部语料库事先学到的，并不是结合场景图谱本身结构学习而来，因此它们都忽略了场景图谱的结构信息。

(2)一个场景图谱越完备则能提供的信息越多，场景图谱本身隐含着一些规则，这些隐含的规则信息能帮助补全场景图谱，可以使得场景图谱更加完备。

(3)现有的场景图谱表示学习技术中，没有充分考虑和利用场景图谱中隐含的规则信息以及场景图谱中结构信息，因此限制了所学习的视觉三元组向量的表达能力。

发明内容

为了解决现有场景图谱表示学习中存在的未能充分利用规则信息以及场景图谱中的视觉三元组结构信息的问题，本发明公开一种基于Horn逻辑与图神经网络的场景图谱向量化方法，充分利用了场景图谱隐含的规则信息，融合了实体周围的邻居实体的信息，能够在三元组分类和三元组链接预测等任务中得到更高的准确率，提高场景图谱的表示性能。

本发明通过以下技术方案实现：一种基于Horn逻辑与图神经网络的场景图谱向量化方法，包括如下步骤：

步骤1、以场景图谱中的视觉三元组作为输入，从给定的场景图谱中抽取Horn规则；

步骤2、以抽取的Horn规则以及场景图谱中的视觉三元组作为输入，优选地，经过推理以及筛选产生新的视觉三元组并添加到场景图谱中；

步骤3、采用实体向量与关系向量之间的图神经网络模型，优选地，对场景图谱的视觉三元组中实体向量与关系向量进行建模；采用实体向量与关系向量之间的翻译模型，建立得分函数作为图神经网络模型的输出模块；