[发明专利]命名实体识别方法、训练方法、装置、设备及介质

说明书

本申请公开了一种命名实体识别方法、训练方法、装置、设备及介质。属于人工智能领域。所述方法包括：获取输入文本，所述输入文本包括至少一个字符；对所述输入文本中的每个字符进行字符编码，得到每个字符的第一字符编码向量；基于所述每个字符的第一字符编码向量，预测所述每个字符为候选实体类型的开始字符的第一概率，以及所述每个字符为所述候选实体类型的结束字符的第二概率；基于所述第一概率和所述第二概率识别出属于所述候选实体类型的命名实体。本申请可以在多行业多实体的命名实体识别场景下，获得较高的识别精度和识别速度。

技术领域

本申请涉及人工智能领域，特别涉及一种命名实体识别方法、训练方法、装置、设备及介质。

背景技术

命名实体识别(Named Entity Recognition，NER)，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等文字。

相关技术中，命名实体识别常采用双向长短时记忆(Bi-directional LongShort-Term Memory，Bi-LSTM)+条件随机场(Conditional Random Field，CRF)模型来解决。Bi-LSTM+CRF具有良好的上下文建模能力。

上述方案需要对实体类型和实体边界同时建模，在多行业多实体的命名实体识别场景中，解码速度和解码准确性较差。

发明内容

本申请提供了一种命名实体识别方法、训练方法、装置、设备及介质，提供了一种在多行业多实体的命名实体识别场景下，解码速度较快且解码准确性较好的技术方案。所述技术方案如下：

根据本申请的一方面，提供了一种命名实体识别方法，所述方法包括：

获取输入文本，所述输入文本包括至少一个字符；

对所述输入文本中的每个字符进行字符编码，得到每个字符的第一字符编码向量；

基于所述每个字符的第一字符编码向量，预测所述每个字符为候选实体类型的开始字符的第一概率，以及所述每个字符为所述候选实体类型的结束字符的第二概率；

基于所述第一概率和所述第二概率识别出属于所述候选实体类型的命名实体。

根据本申请的另一方面，提供了一种命名实体模型的训练方法，所述命名实体模型包括：语言模型和二元模型，所述方法包括：

获取训练集，所述训练集包括样本文本、以及所述样本文本中的样本命名实体；

调用所述预训练语言模型对所述样本文本中的每个字符进行字符编码，得到每个字符的第一字符编码向量；

调用所述二元模型基于所述每个字符的第一字符编码向量，预测所述每个字符为候选实体类型的开始字符的第一概率，以及所述每个字符为所述候选实体类型的结束字符的第二概率；基于所述第一概率和所述第二概率识别出属于所述候选实体类型的预测命名实体；

基于所述预测命名实体和所述样本命名实体之间的误差，对所述语言模型和所述二元模型的网络参数进行训练。

根据本申请的另一方面，提供了一种命名实体识别装置，所述装置包括：

获取模块，用于获取输入文本，所述输入文本包括至少一个字符；

编码模块，用于对所述输入文本中的每个字符进行字符编码，得到每个字符的第一字符编码向量；

预测模块，用于基于所述每个字符的第一字符编码向量，预测所述每个字符为候选实体类型的开始字符的第一概率，以及所述每个字符为所述候选实体类型的结束字符的第二概率；

识别模块，用于基于所述第一概率和所述第二概率识别出属于所述候选实体类型的命名实体。