[发明专利]一种基于图神经网络和强化学习的事实验证方法

说明书

本发明公开了一种基于图神经网络和强化学习的事实验证方法，能够验证语料库中陈述语句和表格型数据中的事实是否相符，基于Transformer的图神经网络来模拟多步推理过程，步骤如下：首先，通过图神经网络将不同类型的边编码为独立的向量，并利用自注意力机制对提取的多粒度特征进行邻居信息聚合，然后，设计一个监控节点，根据强化学习的奖励反馈，在每个图神经网络层上选择合适的证据词，通过对多个图神经网络层的信息聚合，监控节点可捕获各种潜在的关键证据，进行最终验证。最后，为了更加有效地学习聚集的证据信息，本发明利用Transformer设计了能够更加充分利用表格中证据信息的多步推理框架，提高事实验证模型的准确性。

技术领域

本发明涉及一种基于图神经网络和强化学习的事实验证方法，该方法可用于验证陈述语句是否符合表格型数据中蕴含的事实，属于互联网和人工智能技术领域。

背景技术

随着互联网技术的迅速发展，人们可以通过电脑、手机等智能设备更加便捷地接触到来自各式网络媒体平台的信息。然而，网络信息的发布缺少质量管理机制，使得网络信息混乱、繁杂，存在安全隐患，将阻碍用户获得正确的网络资源。因此，人们需要某种技术对信息内容进行检测，从而预先过滤掉虚假信息。

表格型数据事实验证任务旨在验证一个陈述和表格型数据蕴含的事实是否相符。现有工作主要通过逻辑形式解析一个陈述语句，然后利用图神经网络对解析后的陈述表示进行处理。或者设计一个表格感知的预训练语言模型对“陈述-表格”对进行处理。然而，基于解析陈述的方法构建的图神经网络考虑的特征较少，且只能在每个图推理步骤中被动地聚合邻居节点的信息。而基于表格感知的预训练模型难以满足事实验证任务多跳推理的特性，因此检测效果不佳。为了提高表格型数据事实检测的性能，本发明深入挖掘“陈述-文本”对的图结构特征，提出一个基于图神经网络的和强化学习的事实验证框架(ReinforcedEvidence Reasoning framework with Graphneural network，RERG)，该框架模拟了人类推理过程中在每个步骤专注于某些词的行为。具体地，基于预训练模型RoBERTa，RERG首先利用一个基于Transformer的图神经网络表示多粒度特征；然后，设计一个监控节点，在每个图神经网络层上通过强化学习的奖励反馈将监控节点与一些潜在的关键节点连接起来。通过这种方式，RERG可以利用监控节点来预测陈述文本的标签，通过多层图神经网络聚合关键信息。此外，在注意力机制之后增加的二次更新方式，能够增强图神经网络各层的信息聚合能力。

发明内容

为了解决现有技术中存在的问题与不足，本发明提出一种基于图神经网络和强化学习的事实验证方法，该方法利用一个能够在推理过程中选择潜在的关键证据的事实验证框架，并通过多粒度特征获得更好的“陈述-表格”对的特征，从而提高事实验证的效果和所选词的可解释性。本发明改进了图神经网络，在计算每个图神经网络层的注意力权值之后，进行二次信息聚合。

为了实现上述目的，本发明的技术方案如下：一种基于图神经网络和强化学习的事实验证方法，包括如下步骤：

步骤1：获取表格文本表示，“陈述-表格”对作为输入，利用由MultiNLI语料库增强的RoBERTa学习其向量表示；

步骤2：图构建及节点初始化，本步骤的目的是根据提取陈述语句和目标表格之间的行、列、数字和单词的共现关系，以及陈述的句法依赖结构树，为图神经网络层提供用于学习的结构图。随后，利用双向LSTM(BiLSTM)和多层感知机(MLP)完成节点的初始化。

步骤3：应用基于Transformer的图神经网络对图进行编码，首先，通过图神经网络将不同类型的边编码为独立的向量，然后通过将节点信息和边的信息引入自注意力机制来改进原始的图神经网络，利用改进后的自注意力机制对节点信息进行聚合来完成节点信息的更新和图数据的编码；