[发明专利]书籍人物姓名识别模型的训练方法、电子设备及存储介质有效
申请号: | 201910493223.9 | 申请日: | 2019-06-06 |
公开(公告)号: | CN110222340B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 柳燕煌;成湘均;张凌云 | 申请(专利权)人: | 掌阅科技股份有限公司 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06F18/214 |
代理公司: | 北京市浩天知识产权代理事务所(普通合伙) 11276 | 代理人: | 宋菲;梁倩 |
地址: | 100124 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 书籍 人物 姓名 识别 模型 训练 方法 电子设备 存储 介质 | ||
1.一种书籍人物姓名识别模型的训练方法,包括:
从书籍集合中提取书籍人物的姓名字典;
针对姓名字典中的每个姓名,与书籍集合中每本书籍的所有语句作匹配,得到包含姓名的语句样本集合;
针对语句样本集合中的每个语句样本,对该语句样本中的每个字进行序列标注,得到每个字的序列标记;对该语句样本中的每个字进行特征提取,得到每个字的特征;其中所述特征包含n-gram通用特征以及停用词特征;
根据语句样本集合中的每个语句样本的每个字的序列标记以及每个字的特征,训练得到书籍人物姓名识别模型;
其中,所述对该语句样本中的每个字进行特征提取,得到每个字的特征进一步包括:
对于该语句样本中的任一个字,判断位于该字之前的n-1个字、以及位于该字之前的n-1个字的组合词是否包含停用词;
根据判断结果,确定该字的停用词特征;其中,通过该字的停用词特征获知位于该字之前的字以及位于该字之前的字的组合词是否包含停用词。
2.根据权利要求1所述的方法,所述特征还包含:复姓词特征;所述对该语句样本中的每个字进行特征提取,得到每个字的特征进一步包括:
对于该语句样本中的任一个字,判断该字与位于该字之前或之后的一个字的组合词是否为复姓词;
根据判断结果,确定该字的复姓词特征。
3.根据权利要求1所述的方法,所述从书籍集合中提取书籍人物的姓名字典进一步包括:
针对书籍集合中的每本书籍,提取出现频次超过预设频次的书籍人物的姓名,得到该书籍对应的姓名子集;
对书籍集合中的所有书籍对应的姓名子集进行汇总,得到书籍人物的姓名字典。
4.根据权利要求1所述的方法,在所述针对姓名字典中的每个姓名,与书籍集合中每本书籍的所有语句作匹配,得到包含姓名的语句样本集合之后,所述方法还包括:
获取扩充姓名字典;
利用所述扩充姓名字典中的各个姓名,对语句样本集合中的每个语句样本中包含的姓名进行替换处理,以得到扩充后的语句样本集合。
5.根据权利要求1-4任一项所述的方法,所述对该语句样本中的每个字进行序列标注,得到每个字的序列标记进一步包括:
利用不同标记符号分别对每个语句样本中位于姓名起始的字、位于姓名中间的字、位于姓名结尾的字以及除姓名之外的其他字进行标注,得到每个字的序列标记。
6.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行以下操作:
从书籍集合中提取书籍人物的姓名字典;
针对姓名字典中的每个姓名,与书籍集合中每本书籍的所有语句作匹配,得到包含姓名的语句样本集合;
针对语句样本集合中的每个语句样本,对该语句样本中的每个字进行序列标注,得到每个字的序列标记;对该语句样本中的每个字进行特征提取,得到每个字的特征;其中所述特征包含n-gram通用特征以及停用词特征;
根据语句样本集合中的每个语句样本的每个字的序列标记以及每个字的特征,训练得到书籍人物姓名识别模型;
其中,所述可执行指令进一步使所述处理器执行以下操作:
对于该语句样本中的任一个字,判断位于该字之前的n-1个字、以及位于该字之前的n-1个字的组合词是否包含停用词;
根据判断结果,确定该字的停用词特征;其中,通过该字的停用词特征获知位于该字之前的字以及位于该字之前的字的组合词是否包含停用词。
7.根据权利要求6所述的电子设备,所述可执行指令进一步使所述处理器执行以下操作:
对于该语句样本中的任一个字,判断该字与位于该字之前或之后的一个字的组合词是否为复姓词;
根据判断结果,确定该字的复姓词特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于掌阅科技股份有限公司,未经掌阅科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910493223.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于改进XGBoost算法的意图识别方法及装置
- 下一篇:文本分析方法及装置