[发明专利]实体识别方法、装置、计算机可读存储介质和计算机设备在审
申请号: | 202010031702.1 | 申请日: | 2020-01-13 |
公开(公告)号: | CN113111656A | 公开(公告)日: | 2021-07-13 |
发明(设计)人: | 谢润泉 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06F40/289;G06F40/30;G06K9/62 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 董慧 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 实体 识别 方法 装置 计算机 可读 存储 介质 设备 | ||
1.一种实体识别方法,包括:
获取待识别文本的分词;
确定相邻所述分词之间的紧密概率;
将所述分词进行组合得到紧邻词组;
根据所述紧邻词组对应分词的紧密概率,从所述紧邻词组中确定候选实体;
确定所述候选实体的实体类型;
当所述候选实体的实体类型为目标实体类型时,将所述候选实体作为目标实体。
2.根据权利要求1所述的方法,其特征在于,所述根据所述紧邻词组对应分词的紧密概率,从所述紧邻词组中确定候选实体包括:
获取所述紧邻词组的外部特征资源;所述外部特征资源为采用所述紧邻词组从互联网中获取、用于反映所述紧邻词组的信息量的特征资源;
根据所述紧邻词组对应分词的紧密概率和外部特征资源,从所述紧邻词组中确定候选实体。
3.根据权利要求1所述的方法,其特征在于,所述确定相邻所述分词之间的紧密概率包括:
通过预测模型对所述相邻所述分词进行处理,得到紧密概率;
其中,所述预测模型为根据采集的关系训练样本,基于预设的网络模型训练获取的,用于对输入的各相邻所述分词进行处理,得到紧密概率;所述关系训练样本包括所述输入的各相邻所述分词以及对应的紧密概率。
4.根据权利要求1所述的方法,其特征在于,所述根据所述紧邻词组对应分词的紧密概率,从所述紧邻词组中确定候选实体包括:
通过质量模型对所述紧邻词组对应分词的紧密概率进行处理,得到质量分数;
当所述质量分数达到预设阈值时,将所述紧邻词组作为候选实体;
其中,所述质量模型为根据采集的质量训练样本,基于预设的网络模型训练获取的,用于对输入的紧邻词组对应分词的紧密概率进行处理,得到所述紧邻词组的质量分数;所述质量训练样本包括所述输入的紧邻词组对应分词的紧密概率以及对应的质量分数。
5.根据权利要求2所述的方法,其特征在于,所述根据所述紧邻词组对应分词的紧密概率和所述外部特征资源,从所述紧邻词组中确定候选实体包括:
通过质量模型对所述紧邻词组对应分词的紧密概率和外部特征资源进行处理,得到质量分数;
当所述质量分数达到预设阈值时,将所述紧邻词组作为候选实体;
其中,所述质量模型为根据采集的质量训练样本,基于预设的网络模型训练获取的,用于对输入的紧邻词组对应分词紧密概率和外部特征资源进行处理,得到所述紧邻词组的质量分数;所述质量训练样本包括所述输入的紧邻词组对应分词的紧密概率和外部特征资源以及对应的质量分数。
6.根据权利要求1所述的方法,其特征在于,所述确定所述候选实体的实体类型包括:
将所述候选实体输入到分类模型中,得到所述候选实体的实体类型;
其中,所述分类模型为根据采集的分类训练样本,基于预设的网络模型训练获取的,用于对输入的候选实体进行处理,得到实体类型;所述质量训练样本包括所述输入的候选实体以及对应的实体类型。
7.根据权利要求1所述的方法,其特征在于,所述根据所述紧邻词组对应分词的紧密概率,从所述紧邻词组中确定候选实体包括:
获取所述紧邻词组对应分词的紧密概率;
根据所述紧邻词组对应分词的紧密概率计算紧密概率均值;
确定在所述紧邻词组中处于边界的分词;
获取所述处于边界的分词与非所述紧邻词组的分词之间的紧密概率;
从所述处于边界的分词与非所述紧邻词组的分词之间的紧密概率中,筛选出最大的紧密概率;
将所述紧密概率均值减去所述最大的紧密概率,得到所述紧邻词组的质量分数;
当所述质量分数达到预设阈值时,将所述紧邻词组作为候选实体。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010031702.1/1.html,转载请声明来源钻瓜专利网。