[发明专利]命名实体识别方法和识别装置、电子设备及存储介质

说明书

本申请实施例提供了一种命名实体识别方法和识别装置、电子设备及存储介质，属于人工智能技术领域。该方法包括：获取待识别的初始文本；对初始文本进行分词处理得到分词序列；将分词序列输入预构建的命名实体识别模型，得到每个文本分词在每个初始命名实体标签下的目标预测概率；其中，命名实体识别模型包括第一分类层和第二分类层，第一分类层用于对文本分词进行初始分类预测处理以得到第一预测结果，第二分类层用于对文本分词进行校准分类预测处理以得到第二预测结果；根据目标预测概率确定每个文本分词的目标命名实体标签，以确定初始文本的命名实体。本申请实施例能够提高对命名实体识别的准确率。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种命名实体识别方法和识别装置、电子设备及存储介质。

背景技术

目前，在命名实体识别(Named Entity Recognition，NER)模型的实际应用中，由于采用深度神经网络构建的命名实体识别模型经常过拟合，导致校准效果很差。现有的对于模型的校准方法主要采用MC Dropout方法和Deep Ensemble方法，其中，MC Dropout方法虽然操作简单，但是推理时间较长，Deep Ensemble方法的使用需要极高的内存资源，从而对命名实体识别模型的校准效果不佳，进而影响命名实体识别的准确性。因此，如何提高对命名实体识别的准确性，成为了亟待解决的技术问题。

发明内容

本申请实施例的主要目的在于提出一种命名实体识别方法和识别装置、电子设备及存储介质，旨在提高对命名实体识别的准确率。

为实现上述目的，本申请实施例的第一方面提出了一种命名实体识别方法，所述方法包括：

获取待识别的初始文本和多个预设的初始命名实体标签；

对所述初始文本进行分词处理，得到分词序列，所述分词序列包括多个文本分词；

将所述分词序列输入预构建的命名实体识别模型，得到每个所述文本分词在每个所述初始命名实体标签下的目标预测概率；其中，所述命名实体识别模型包括第一分类层和第二分类层，所述第一分类层用于对所述文本分词进行初始分类预测处理以得到第一预测结果，所述第二分类层用于对所述文本分词进行校准分类预测处理以得到第二预测结果，所述目标预测概率根据所述第一预测结果和所述第二预测结果确定；

根据所述目标预测概率确定每个所述文本分词的目标命名实体标签；

根据每个所述文本分词的所述目标命名实体标签，确定所述初始文本的命名实体。

在一些实施例，所述命名实体识别模型通过如下方法训练得到：

构建训练样本集，所述训练样本集包括多个样本文本和每个所述样本文本的分词标签数据，每个所述分词标签数据包括所述样本文本的多个样本分词和每个所述样本分词的初始样本命名实体标签；

基于Bert模型结构构建初始识别模型，所述初始识别模型包括编码层、所述第一分类层和所述第二分类层；

将每个所述样本文本的所述分词标签数据输入所述初始识别模型；

通过所述编码层对所述分词标签数据的每个所述样本分词进行编码处理，得到分词特征向量；

通过所述第一分类层对所述分词特征向量进行所述初始分类预测处理，得到所述样本分词在每个所述初始样本命名实体标签下的第一分类预测概率；

通过所述第二分类层对所述分词特征向量进行所述校准分类预测处理，得到所述样本分词在每个所述初始样本命名实体标签下的第二分类预测概率；

根据所述第一分类预测概率和所述第二分类预测概率确定所述样本分词的目标样本命名实体标签；