[发明专利]一种基于Bi-LSTM-CNN的混合语料命名实体识别方法

说明书

本发明涉及一种基于Bi‑LSTM‑CNN的混合语料命名实体识别方法。该方法在训练阶段将带有标签的训练混合语料数据转换为字符级的混合语料数据，然后训练基于Bi‑LSTM‑CNN的深度学习模型，在预测阶段将没有标签的测试混合语料数据转换为字符级的混合语料数据，然后使用训练阶段训练好的深度学习模型进行预测。本发明采用字符级而不是词语级的向量，可以免受分词精度的影响，同时还可以规避未登录词的问题；另外采用双向长短期记忆神经网络Bi‑LSTM和卷积神经网络CNN的组合模型，相比传统的算法精度提高了很多；直接使用混合语料进行模型训练，不需要将混合语料的每个语种检测并分开，最终到达可以识别混合语料的目的。

技术领域

本发明属于信息技术领域，具体涉及一种基于Bi-LSTM-CNN的混合语料命名实体识别方法。

背景技术

命名实体识别指的是对于给定的数据集识别指定的具有特定意义的实体名词的过程。命名实体的识别方法的实践场景包括：

场景1：事件检测。地点、时间、人物是时间的几个基本构成部分，在构建事件的摘要时，可以突出相关人物、地点、单位等。在事件搜索系统中，相关的人物、时间、地点可以作为索引关键词。事件的几个构成部分之间的关系，从语义层面更详细的描述了事件。

场景2：信息检索。命名实体可以用来提高和改进检索系统的效果，当用户输入“重大”时，可以发现用户更想检索的是“重庆大学”，而不是其对应的形容词含义。此外，在建立倒排索引的时候，如果把命名实体切成多个单词，将会导致查询效率降低。此外，搜索引擎正在向语义理解、计算答案的方向发展。

场景3：语义网络。语义网络中一般包括概念和实例及其对应的关系，例如“国家”是一个概念，中国是一个实例，“中国”是一个“国家”表达实体与概念之间的关系。语义网络中的实例有很大一部分是命名实体。

场景4：机器翻译。命名实体的翻译常会有一些特殊翻译规则，例如中国人民翻译成英文时要使用名字的拼音来表示，有名在前姓在后的规则，而普通的词语要翻译成对应的英文单词。准确识别出文本中的命名实体，对提高机器翻译的效果有重要的意义。

场景5：问答系统。准确的识别出问题的各个组成部分特别重要，问题的相关领域，相关概念。目前，大部分问答系统都只能搜索答案，而不能计算答案。搜索答案进行关键词的匹配，用户根据搜索结果人工提取答案，而更加友好的方式是把答案计算好呈现给用户。问答系统中有一部分问题需要考虑到实体之间的关系，例如“美国第四十五届总统”，目前的搜索引擎会以特殊的格式返回答案“特朗普”。

传统的对包含多种语言的混合文本的实体识别方法的步骤是：

多语言输入文本--(分段或分句)文本语言检查--实体识别

并且其对每一种语言的实体识别可以采用基于词典、基于统计和基于人工神经网络模型的方法。基于词典的命名实体识别，其原理大致是：将尽量多的不同类别的实体词汇收入词典中，识别时将文本信息与词典中的词语进行匹配，匹配上的则标记为对应的实体类别；基于词频统计的方法，例如CRF(条件随机场)，其原理大致是学习到前后一个词的语义信息，然后做出分类判断。

上述方法具有以下缺点：

缺点1：对多语言的检测粒度不好区分，并且有因某种语言没有检测到而有分词精度的损失。对于一篇文档包含多种语言的情况，首先需要分段处理，然后对每一个段落做语言类型的检测，然而如果对段落中也包含多种语言的情形，又需要做分句的处理，对句子中包含多种语言都不能做再做分割了。因分词的模型与语料严重的依赖，结果就会出现因某种语言并没有检测到而丢失分词的信息。

缺点2：基于词频统计的HMM(隐马尔可夫)和CRF(条件随机场)方法只能关联当前词的前一个词的语义，识别精度不够高，尤其是未登录词的识别率较低；