[发明专利]一种基于Bi‑LSTM的混合语料命名实体识别方法

说明书

技术领域

本发明属于信息技术领域，具体涉及一种基于Bi-LSTM的混合语料命名实体识别方法。

背景技术

命名实体识别(Named Entity Recognition，简称NER)指的是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。

命名实体的识别方法的实践场景包括：

场景1：事件检测。地点、时间、人物是时间的几个基本构成部分，在构建事件的摘要时，可以突出相关人物、地点、单位等。在事件搜索系统中，相关的人物、时间、地点可以作为索引关键词。事件的几个构成部分之间的关系，从语义层面更详细的描述了事件。

场景2：信息检索。命名实体可以用来提高和改进检索系统的效果，当用户输入“重大”时，可以发现用户更想检索的是“重庆大学”，而不是其对应的形容词含义。此外，在建立倒排索引的时候，如果把命名实体切成多个单词，将会导致查询效率降低。此外，搜索引擎正在向语义理解、计算答案的方向发展。

场景3：语义网络。语义网络中一般包括概念和实例及其对应的关系，例如“国家”是一个概念，中国是一个实例，“中国”是一个“国家”表达实体与概念之间的关系。语义网络中的实例有很大一部分是命名实体。

场景4：机器翻译。命名实体的翻译常会有一些特殊翻译规则，例如中国人民翻译成英文时要使用名字的拼音来表示，有名在前姓在后的规则，而普通的词语要翻译成对应的英文单词。准确识别出文本中的命名实体，对提高机器翻译的效果有重要的意义。

场景5：问答系统。准确的识别出问题的各个组成部分特别重要，问题的相关领域，相关概念。目前，大部分问答系统都只能搜索答案，而不能计算答案。搜索答案进行关键词的匹配，用户根据搜索结果人工提取答案，而更加友好的方式是把答案计算好呈现给用户。问答系统中有一部分问题需要考虑到实体之间的关系，例如“美国第四十五届总统”，目前的搜索引擎会以特殊的格式返回答案“特朗普”。

传统的对包含多种语言的混合文本的实体识别方法的步骤是：

多语言输入文本-->(分段或分句)文本语言检查-->实体识别

并且其对每一种语言的实体识别可以采用基于词典、基于统计和基于人工神经网络模型的方法。基于词典的命名实体识别，其原理大致是：将尽量多的不同类别的实体词汇收入词典中，识别时将文本信息与词典中的词语进行匹配，匹配上的则标记为对应的实体类别；基于词频统计的方法，例如CRF(条件随机场)，其原理大致是学习到前后一个词的语义信息，然后做出分类判断。

上述方法具有以下缺点：

缺点1：对多语言的检测粒度不好区分，并且有因某种语言没有检测到而有分词精度的损失。对于一篇文档包含多种语言的情况，首先需要分段处理，然后对每一个段落做语言类型的检测，然而如果对段落中也包含多种语言的情形，又需要做分句的处理，对句子中包含多种语言都不能做再做分割了。因分词的模型与语料严重的依赖，结果就会出现因某种语言并没有检测到而丢失分词的信息。

缺点2：基于词频统计的HMM(隐马尔可夫)和CRF(条件随机场)方法只能关联当前词的前一个词的语义，识别精度不够高，尤其是未登录词的识别率较低；

缺点3：基于人工神经网络模型的方法，在训练时存在梯度消失问题，并且在实际的应用中网络层数少，最终命名实体识别结果优势不明显。

发明内容

本发明针对上述问题，提供一种基于Bi-LSTM(Bi-directional Long Short-Term Memory，双向长短期记忆神经网络)的混合语料命名实体识别方法，能够有效提高混合语料命名实体识别的精度。

本发明中，混合语料指的是训练或者预测的数据中包含了至少两种语言的语料数据；登录词指的是已经出现在语料词表中的词；未登录词指的是没有出现在语料词表中的词。

本发明采用的技术方案如下：

一种基于Bi-LSTM的混合语料命名实体识别方法，包括以下步骤：

1)将原始混合语料数据OrgData转化为字符级的混合语料数据NewData；

2)统计NewData中的字符，得到字符集合CharSet，将每个字符进行编号，得到字符集合CharSet对应的字符编号集合CharID；统计NewData中字符的标签，得到标签集合LabelSet，将每个标签进行编号，得到标签集合LabelSet对应的标签编号集合LabelID；

3)将NewData按照句子长度对句子进行分组，得到包括n组句子的数据集合GroupData；