[发明专利]实体识别方法、装置、计算机可读介质及电子设备有效
申请号: | 202110471896.1 | 申请日: | 2021-04-29 |
公开(公告)号: | CN112988979B | 公开(公告)日: | 2021-10-08 |
发明(设计)人: | 杨韬 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/36;G06F40/295;G06N20/00 |
代理公司: | 深圳市隆天联鼎知识产权代理有限公司 44232 | 代理人: | 胡琳 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 实体 识别 方法 装置 计算机 可读 介质 电子设备 | ||
本申请的实施例提供了一种实体识别方法、装置、计算机可读介质及电子设备。该实体识别方法包括:对待识别文本进行特征提取处理,以获得待识别文本中各个文字对应的字特征向量;将各个文字对应的字特征向量输入实体识别模型,实体识别模型是根据训练样本中各个样本文字针对各个实体标签的第一输出概率和训练样本中各个样本分词针对各个实体类型的第二输出概率训练得到的;获取实体识别模型输出的各个文字针对各个实体标签的第一预测概率,以及待识别文本中各个分词针对各个实体类型的第二预测概率;根据第一预测概率和第二预测概率,确定待识别文本的实体识别结果。本申请实施例的技术方案能够解决嵌套实体识别的问题,提升了实体识别的准确度。
技术领域
本申请涉及计算机及通信技术领域,具体而言,涉及一种实体识别方法、装置、计算机可读介质及电子设备。
背景技术
自然语言处理(Nature Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。实体识别是自然语言处理的一个分支,是指识别文本中具有特定意义的实体,例如歌名、人名及地名等。
然而在相关技术提供的方案中,难以实现嵌套实体的识别处理。例如,文本“A城市自由大学的B区研究中心下辖六大研究院系”,其中,“A城市自由大学”和“B区研究中心”是两个机构实体,但是,这两个实体里还蕴含两个嵌套实体“A城市”和“B区”,而相关技术提供的方案难以识别出文本中的嵌套实体,导致实体识别准确度不高。
发明内容
本申请的实施例提供了一种实体识别方法、装置、计算机可读介质及电子设备,进而在一定程度上能够实现对待识别文本中任意层次的嵌套实体进行识别,提升了文本中实体识别的准确度。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面,提供了一种实体识别方法,包括:对待识别文本进行特征提取处理,以获得所述待识别文本中各个文字对应的字特征向量;将所述各个文字对应的字特征向量输入实体识别模型,所述实体识别模型是根据训练样本中各个样本文字针对各个实体标签的第一输出概率和所述训练样本中各个样本分词针对各个实体类型的第二输出概率训练得到的;获取所述实体识别模型输出的所述各个文字针对所述各个实体标签的第一预测概率,以及所述待识别文本中各个分词针对所述各个实体类型的第二预测概率;根据所述第一预测概率和所述第二预测概率,确定所述待识别文本的实体识别结果。
根据本申请实施例的一个方面,提供了一种实体识别装置,包括:提取处理单元,配置为对待识别文本进行特征提取处理,以获得所述待识别文本中各个文字对应的字特征向量;第一输入单元,配置为将所述各个文字对应的字特征向量输入实体识别模型,所述实体识别模型是根据训练样本中各个样本文字针对各个实体标签的第一输出概率和所述训练样本中各个样本分词针对各个实体类型的第二输出概率训练得到的;获取单元,配置为获取所述实体识别模型输出的所述各个文字针对所述各个实体标签的第一预测概率,以及所述待识别文本中各个分词针对所述各个实体类型的第二预测概率;确定单元,配置为根据所述第一预测概率和所述第二预测概率,确定针对所述待识别文本的实体识别结果。
在本申请的一些实施例中,基于前述方案,所述确定单元配置为:将所述各个文字针对所述各个实体标签的第一预测概率中的最大预测概率所对应的实体标签作为所述各个文字对应的目标实体标签,将所述目标实体标签指示为同一实体类型且位置连续的文字识别为同一个实体,得到所述待识别文本的第一实体识别结果;将所述各个分词针对所述各个实体类型的第二预测概率中的最大预测概率所对应的实体类型作为所述各个分词对应的目标实体类型,根据所述各个分词对应的目标实体类型,确定所述待识别文本的第二实体识别结果;合并所述第一实体识别结果以及所述第二实体识别结果,得到所述待识别文本的实体识别结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110471896.1/2.html,转载请声明来源钻瓜专利网。