[发明专利]一种基于增强字符向量的中文短文本实体识别与消歧方法

说明书

本发明涉及一种基于增强字符向量的中文短文本实体识别与消歧方法，该方法包括以下步骤：步骤1：结合提及库与上下文语境对输入文本进行实体识别；步骤2：根据待消歧提及与候选实体的语义匹配对经过实体识别处理后的文本进行实体消歧。与现有技术相比，本发明提供一种基于增强字符向量的神经网络输入，包括引入提及词典库信息和提及位置信息，实现中文短文本实体识别与消歧的方法。

技术领域

本发明涉及神经语言程序学(Neuro-Linguistic Programming，NLP)领域，涉及一种中文短文本的实体链接方法，尤其是涉及一种基于增强字符向量的中文短文本实体识别与消歧方法。

背景技术

实体链接(Entity Linking，EL)旨在识别文本中实体潜在的、模糊的提及，并将它们链接到目标知识库(Knowledge Base，KB)。对于许多NLP任务(如知识融合、知识库构建和基于知识库的问答系统)来说，这是一个必不可少的步骤。EL系统通常由两个子任务组成：(1)实体识别(Entity Recognition，ER)：从文本片段中提取所有潜在的实体引用(即提及)；(2)实体消歧(Entity Disambiguation，ED)：将这些有歧义的提及映射到KB中的正确实体。

实体链接已经研究多年，并借助神经网络取得了很大的进步。但大多数研究工作都是为英文语料库设计的，尤其是长文本。而与英语长文本的实体链接相比，中文短文本实体链接是一项更具挑战性的任务。首先，中文文本缺乏显式的分隔符，如缺少空格来分隔单词，因此很难识别提及的边界。以往对中文的实体识别的研究主要分为两类：基于单词序列输入和基于字符序列输入的方法。基于字符序列输入的方法已被证实要优于基于单词序列输入的方法，因为它不会受分词错误的影响。然而，这种方法不能完全利用潜在的有用的单词序列信息。为此，研究需要加入外部信息来改进其性能。其次，最近很多实体消歧模型利用全局上下文来捕捉在文档中一组相关的提及所对应的实体之间的一致性，以达到联合消歧的目的。然而，短文本往往噪声多，缺乏连贯性和丰富的全局信息，使得联合消歧模型无法直接应用。最后，在使用神经网络产生提及表征(Mention Representation)的时候，研究应考虑提及的位置，否则同一文本中的所有提及都被视为相同。以前的研究通常通过将上下文拆分为两个部分来考虑提及的位置：提及的左侧子句和右侧子句，并使用一对神经网络来分别处理这两个子句。然而这种并不适合短文本的情况，因为两侧的子句都会比原始文本短，更难提取有用的语义信息。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于增强字符向量的神经网络输入，包括引入提及词典库信息和提及位置信息，实现中文短文本实体识别与消歧的方法。

本发明的目的可以通过以下技术方案来实现：

一种基于增强字符向量的中文短文本实体识别与消歧方法，该方法显式结合提及库匹配信息和提及位置信息，包括以下步骤：

步骤1：结合提及库与上下文语境对输入文本进行实体识别；

步骤2：根据待消歧提及与候选实体的语义匹配对经过实体识别处理后的文本进行实体消歧。

进一步地，显式结合提及库匹配信息，所述的步骤1包括以下分步骤：

步骤11：根据输入文本获得字符序列，训练字符序列得到字符向量

步骤12：将所述字符序列输入至预训练语言模型中得到字符上下文向量

步骤13：针对所述输入文本进行切割得到邻接字序列，训练邻接字序列得到邻接字符向量

步骤14：使用分词工具导入提及词典库，并针对所述输入文本进行分词得到词序列，训练词序列得到字符所在词向量

步骤15：针对所述词序列进行分词边界标注得到字符位置标注序列，训练字符位置标注序列得到字符位置向量