[发明专利]一种命名实体识别方法及装置

说明书

本发明实施例提供一种命名实体识别方法及装置。方法包括获取待识别文本；将待识别文本输入字嵌入模型获得待识别文本中每个字对应的字向量，以及将待识别文本输入拼音嵌入模型获得每个字对应的拼音向量；将每个字向量和对应的拼音向量进行组合获得组合向量，将所有的字的组合向量输入BiLSTM中进行语义编码，获得待识别文本对应的语义信息特征；根据语义信息特征获得待识别文本中对应的实体标签序列。装置用于执行上述方法，本发明实施例通过根据字嵌入模型和拼音向量模型分别得到待识别文本的字向量和拼音向量，并将字向量和拼音向量进行组合输入到BiLSTM中进行识别，从而能够很好的弥补字向量表示的不足，使得识别的准确率大大提高。

技术领域

本发明涉及语言处理技术领域，具体而言，涉及一种命名实体识别方法及装置。

背景技术

命名实体识别(Named Entity Recognition,NER)是自然语言处理中的一项基础的任务，是指从文本中识别出命名性指称项，为关系抽取等任务做铺垫。狭义上是识别出人名、地名和组织机构名等专有名词。在特定领域中，会相应地定义领域内的各种实体类型。命名实体识别是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。

目前已有的命名实体识别方法，主要分为三类：第一类是基于规则的方法，利用手工编写的规则，将文本与规则进行匹配来识别出命名实体。第二类是基于特征模板的方法，统计机器学习方法将命名实体识别视作序列标注任务，利用大规模语料来学习出标注模型，从而对句子的各个位置进行标注。第三类是基于神经网络的方法，基于神经网络的方法，随着词的分布式表示的出现，神经网络成为可以有效处理许多NLP序列标注任务的模型。这种方法使得模型的训练成为一个端到端的整体过程，不依赖特征工程，是一种数据驱动的方法，但该方法在对中文进行识别时，其准确度不是太高。

发明内容

有鉴于此，本发明实施例的目的在于提供一种命名实体识别方法及装置，以解决上述技术问题。

第一方面，本发明实施例提供了一种命名实体识别方法，包括：

获取待识别文本，所述待识别文本包括多个字；

将所述待识别文本输入字嵌入模型中获得所述待识别文本中每个字对应的字向量，以及将所述待识别文本输入拼音嵌入模型中，获得每个字对应的拼音向量；

将每个字向量和对应的拼音向量进行组合获得组合向量，将所有的字分别对应的组合向量输入双向长短时记忆网络BiLSTM中进行语义编码，获得所述待识别文本对应的语义信息特征；

根据所述语义信息特征获得所述待识别文本中对应的实体标签序列。

进一步地，所述根据所述语义信息特征获得所述待识别文本中对应的实体标签序列，包括：

对所述语义信息特征利用softmax函数进行归一化，获得所述待识别文本中每一个字为各个标签的发射概率值；

获取每个字对应的最大的发射概率值对应的标签，并根据所有的字对应的标签构成所述实体标签序列。

进一步地，所述将所述待识别文本输入字嵌入模型中获得所述待识别文本中每个字对应的字向量，包括：

将所述待识别文本输入所述字嵌入模型中，所述字嵌入模型对每个字进行OneHot编码映射，获得每个字对应的字向量，所述字向量的长度为固定的。

进一步地，所述BiLSTM包括正向长短时记忆网络LSTM和反向LSTM；相应的，所述将所述组合向量输入双向长短时记忆网络BiLSTM中进行语义编码，获得所述待识别文本对应的语义信息特征，包括：

所述正向SLTM对所述待识别文本进行特征提取，获得第一隐状态序列；