[发明专利]一种在深度语言模型中融入额外知识信息的方法

说明书

本发明公开了一种在深度语言模型中融入额外知识信息的方法，其特点是采用将知识信息融入到深度语言模型中进行预训练的方法，通过大规模自然语言语料上进行实体标注，并对自然语言文本进行实体级别的扰动构造负样本用以强化和提升知识库问答系统中关系匹配模块的性能，模型的训练和知识融入具体包括：构建词表、识别实体信息、创建训练所需的负样本和预训练深度语言模型步骤。本发明与现有技术相比具有将结构化知识信息引入深度语言模型的参数中，使得模型具备针对自然语言输入文本进行包含事实性结构化信息的语义理解，在对应任务上获得性能提升，方法简便，效率高。

技术领域

本发明涉及计算机问答系统技术领域，尤其是一种基于知识图谱在深度语言模型中融入额外知识信息的方法。

背景技术

自然语言处理旨在研究使用计算机自动处理、理解与生成自然语言的技术。问答系统是自然语言处理中的一个重要的子领域，旨在针对用户输入的问题通过计算机自动给出回答。问答系统分为多种类型，包括基于阅读理解的问答系统，基于社区检索的问答系统以及基于知识库的问答系统；基于阅读理解的问答系统通过在给定的文章片段中搜索潜在的答案来回答相关的问题；基于社区检索的问答系统通过一个检索系统查询社区中可能相关的回答或者文本片段，并对所有的候选回答根据上下文与给定信息进行重排序来回答用户输入的问题；以及基于知识库的问答系统通过在一个给定的知识库中确定检索子图查询范围并且在子图中搜索最为相关的实体，将这些候选实体作为针对问题的事实性回答返回给用户。

知识库是指将一系列事实等信息通过结构化存储方法保存的数据库。一般情况下，这些事实信息通过“实体-谓词-实体”的三元组形式保存。不同的实体之间通过各种关系谓词相互连接，形成了一种网状的图结构为知识图谱。知识库在多个领域有着广泛的应用，在自然语言处理领域，常常通过引入知识库来在编码器阶段引入额外的事实性信息，从而提高神经网络在自然语言处理任务上的性能。

近年来，BERT、ELMo等深度语言模型极大地影响了自然语言处理领域的模型设计。这些深度语言模型的特点是拥有极大的参数量，同时有着数目庞大的预训练语料，通过语言模型等无监督任务来自动编码自然语言中潜藏的语法与语义信息。以BERT为例，BERT使用了12层768维度隐层的Transformer模型作为其编码器，并通过从互联网多个来源爬取的上千万条篇章语料信息构建训练集合。由深度学习获得的词语向量表示含有丰富的上下文信息于语义信息，有着强大的表示能力，而与之相对的传统词向量并没有上下文信息以及庞大的语料信息，需要在对应数据集中输入一个额外的编码器进行微调才可获得理想的性能。深度语言模型的应用极大地提升了自然语言处理中多个子任务的准确率，显著改进了自然语言模型对语言的理解能力。

现有技术的深度语言模型大多使用自然语言语料作为其训练集，存在着缺乏结构化知识库信息的问题，当遇到需要事实性信息的任务时，这些深度语言模型会因为缺乏结构化知识信息而出现性能不佳的情形。

发明内容

本发明的目的是针对现有技术不足而提供的一种在深度语言模型中融入额外知识信息的方法，采用将结构化知识信息融入深度语言模型的预训练方法，用以强化知识库问答系统中关系匹配模块性能，通过在大规模自然语言语料上进行实体标注，并对自然语言文本进行实体级别的扰动构造负样本，将结构化知识信息引入深度语言模型的参数中，使得模型具备针对自然语言输入文本进行包含事实性结构化信息的语义理解，在对应任务上获得性能提升，方法简便，效率高。

实现本发明目的具体技术方案是：一种在深度语言模型中融入额外知识信息的方法，其特点是采用将知识信息融入到深度语言模型中进行预训练的方法，强化知识库问答系统中关系匹配模块的性能，其模型的具体训练和知识融入包括以下步骤：

1)构建实体到指称的词表；

2)通过构建的词表识别文本中的实体信息；

3)对自然语言文本进行扰动，创建训练所需的负样本；