[发明专利]一种机构名实体识别方法

说明书

本发明公开了一种机构名实体识别方法，该方法首先通过无监督方法构建领域词词库的领域字符字向量，再在领域字向量中引入通用标记语料的上下文知识获得最终使用的字向量矩阵。使用最终使用的字向量矩阵训练分词模型来划分领域待识别语料。接着，分析通用标记语料的N‑Gram特征获得拓扑关系矩阵。通过拓扑关系矩阵来构建语料的拓扑关系并训练用于机构名实体识别的GCN模型。最终实现对于特定领域的机构名实体识别。本发明方法解决了在特定领域的机构名识别场景下，领域标记语料不足、识别准确率低以及对于领域专有名词识别能力较弱的问题。

技术领域

本发明属于自然语言处理中的实体识别领域，其中涉及一种基于LSTM(LongShort-Term Memory)和GCN(Graph Convolutional Network)结构的机构名实体识别方法。

背景技术

随着世界的高速发展，各类文本数据都呈现出了爆炸式的增长趋势，从海量的文本数据中高效、准确地提炼出有效信息的相关技术正在成为众多公司和研究机构所关注的热点。传统的信息检索方法，通常通过字符串模糊匹配的方式，对文本中的目标信息进行抓取，再通过后续的规则方法过滤出有效信息。这种方法虽然可以在一定程度上获取到目标信息，但在海量文本复杂的上下文情景下其方法效率较低，且准确率难以达到要求。

机构名实体识别是从指定文本上下文中识别出具有机构名意义的实体部分。在中文实体识别中，其过程主要分为两步：(1)实体的边界划分；(2)实体类别的识别。因为中文与英文语言特性的差异，中文实体识别需要对实体的边界进行划分，这一点使得中文实体识别相较于英文实体识别挑战更大，问题更多。

发明内容

本发明的目的在于针对现有技术的不足，提供一种通过引入外部语料预训练词向量，基于词的GCN模型进行机构名实体识别的方法。

本发明的目的是通过以下技术方案来实现的：一种机构名实体识别方法，该方法包括以下步骤：

步骤1：将目标领域中的专有名词作为领域词构成领域词词库，为领域词中出现的每个字符分配与其对应的字向量。

步骤2：将领域词词库中的字符进行数字编码，每个数字编码分别对应该字符的字向量序号，并使用数字编码来编码领域词词库中的每一个词。

步骤3：对步骤2中产生的词编码进行one-hot编码后，用无监督方法进行字向量训练，得到以每个字符的领域字向量为行元素的矩阵，记为领域信息矩阵。

步骤4：在步骤3训练出的领域字向量基础上加入通用标记语料N的上下文信息，得到最终使用的字向量矩阵。

步骤5：使用步骤4产生的最终使用的字向量矩阵以及通用标记语料N训练分词模型。

步骤6：统计通用标记语料N的N-Gram特征，在N-Gram特征大于设定阈值的词对之间建立拓扑连接，权重为N-Gram特征值，生成拓扑关系矩阵。

步骤7：根据拓扑关系矩阵分析通用标记语料N，生成词和词之间的拓扑关系。通过查询拓扑关系矩阵相应词对出现的频次，若其大于预期值S则认为它们之间存在拓扑关系，否则无拓扑关系。

步骤8：将通用标记语料N和步骤7中产生的拓扑关系作为GCN模型的输入，训练机构名实体识别模型。

步骤9：在预测时，首先将待预测语料送入步骤5中所产生的分词模型，获得分词结果后，再根据步骤6中获得的拓扑关系矩阵分析其拓扑关系，最后将分词结果和拓扑关系作为步骤8获得的机构名实体识别模型的输入，来获得最终的机构名实体识别结果。

进一步地，所述步骤1中，为单音字分配一个字向量，为多音字的每个发音分配一个字向量；所述步骤2中，对于多音字，为每种发音生成一个数字编码。