[发明专利]命名实体识别方法和识别装置、电子设备及存储介质在审
申请号: | 202310284774.0 | 申请日: | 2023-03-15 |
公开(公告)号: | CN116432648A | 公开(公告)日: | 2023-07-14 |
发明(设计)人: | 李泽远;王健宗 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06F18/2415;G06F18/214 |
代理公司: | 广州嘉权专利商标事务所有限公司 44205 | 代理人: | 谭晓欣 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 命名 实体 识别 方法 装置 电子设备 存储 介质 | ||
1.一种命名实体识别方法,其特征在于,所述方法包括:
获取待识别的初始文本和多个预设的初始命名实体标签;
对所述初始文本进行分词处理,得到分词序列,所述分词序列包括多个文本分词;
将所述分词序列输入预构建的命名实体识别模型,得到每个所述文本分词在每个所述初始命名实体标签下的目标预测概率;其中,所述命名实体识别模型包括第一分类层和第二分类层,所述第一分类层用于对所述文本分词进行初始分类预测处理以得到第一预测结果,所述第二分类层用于对所述文本分词进行校准分类预测处理以得到第二预测结果,所述目标预测概率根据所述第一预测结果和所述第二预测结果确定;
根据所述目标预测概率确定每个所述文本分词的目标命名实体标签;
根据每个所述文本分词的所述目标命名实体标签,确定所述初始文本的命名实体。
2.根据权利要求1所述的方法,其特征在于,所述命名实体识别模型通过如下方法训练得到:
构建训练样本集,所述训练样本集包括多个样本文本和每个所述样本文本的分词标签数据,每个所述分词标签数据包括所述样本文本的多个样本分词和每个所述样本分词的初始样本命名实体标签;
基于Bert模型结构构建初始识别模型,所述初始识别模型包括编码层、所述第一分类层和所述第二分类层;
将每个所述样本文本的所述分词标签数据输入所述初始识别模型;
通过所述编码层对所述分词标签数据的每个所述样本分词进行编码处理,得到分词特征向量;
通过所述第一分类层对所述分词特征向量进行所述初始分类预测处理,得到所述样本分词在每个所述初始样本命名实体标签下的第一分类预测概率;
通过所述第二分类层对所述分词特征向量进行所述校准分类预测处理,得到所述样本分词在每个所述初始样本命名实体标签下的第二分类预测概率;
根据所述第一分类预测概率和所述第二分类预测概率确定所述样本分词的目标样本命名实体标签;
将所述分词标签数据对应的所述初始样本命名实体标签作为所述初始识别模型的期望输出,根据所述初始样本命名实体标签和所述目标样本命名实体标签训练所述命名实体识别模型。
3.根据权利要求2所述的方法,其特征在于,所述将所述分词标签数据对应的所述初始样本命名实体标签作为所述初始识别模型的期望输出,根据所述初始样本命名实体标签和所述目标样本命名实体标签训练所述命名实体识别模型,包括:
根据所述第一分类预测概率和所述第二分类预测概率确定总损失值;
根据所述样本分词的所述初始样本命名实体标签和所述目标样本命名实体标签对所述初始识别模型的模型参数进行调整,并基于所述训练样本集继续训练调整后的所述初始识别模型,直至所述总损失值满足预设训练结束条件,以得到所述命名实体识别模型。
4.根据权利要求2所述的方法,其特征在于,所述通过所述第一分类层对所述分词特征向量进行所述初始分类预测处理,得到所述样本分词在每个所述初始样本命名实体标签下的第一分类预测概率,包括:
基于Softmax函数构建所述第一分类层;
通过所述第一分类层对所述分词特征向量进行所述初始分类预测处理,得到预测回归值;
对所述预测回归值进行归一化处理,得到所述样本分词在每个所述初始样本命名实体标签下的第一分类预测概率。
5.根据权利要求2所述的方法,其特征在于,所述通过所述第二分类层对所述分词特征向量进行所述校准分类预测处理,得到所述样本分词在每个所述初始样本命名实体标签下的第二分类预测概率,包括:
基于高斯过程构建所述第二分类层;
通过所述第二分类层对所述分词特征向量进行所述校准分类预测处理,得到所述样本分词在每个所述初始样本命名实体标签下的第二分类预测概率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310284774.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种沥粉画的沥粉装置
- 下一篇:一种用于大蒜素呼吸机的泵送机构以及呼吸机