[发明专利]一种在深度语言模型中融入额外知识信息的方法

权利要求书

1.一种在深度语言模型中融入额外知识信息的方法，其特征在于采用将知识信息融入到深度语言模型中进行预训练的方法，用以强化和提升知识库问答系统中关系匹配模块的性能，模型的训练和知识融入包括以下具体步骤：

步骤一：构建实体到指称的词表

采用知识库或富含人工标注的超链接文本，构建实体指称到实体的词表；

步骤二：识别文本中的实体信息

利用构建的词表对自然语言文本进行标注，识别文本中的实体信息，并链接到知识库中所对应的实体中为训练正样本；

步骤三：创建训练所需的负样本

根据实体链接后所得到的结构化信息，对自然语言文本进行扰动，创建训练所需的负样本；

步骤四：预训练深度语言模型参数

使用创建的负样本为新训练集进行预训练深度语言模型参数，并对所获得的训练集对深度语言模型进行无监督预训练，以将知识信息融入到模型参数中强化其性能。

2.根据权利要求1所述在深度语言模型中融入额外知识信息的方法，其特征在于所述词表所涉及到的实体源于某一个知识库或含有结构化知识信息的文本。

3.根据权利要求1所述在深度语言模型中融入额外知识信息的方法，其特征在于所述自然语言文本进行标的文本来源于在互联网上自动爬取的文本。

4.根据权利要求1所述在深度语言模型中融入额外知识信息的方法，其特征在于所述新训练集由爬取的原语料以及扰动后所创建的负样本构成。