[发明专利]异常分词的处理方法及系统有效
| 申请号： | 201810240662.4 | 申请日： | 2018-03-22 |
| 公开（公告）号： | CN108536675B | 公开（公告）日： | 2021-09-03 |
| 发明（设计）人： | 陈峰 | 申请（专利权）人： | 云知声智能科技股份有限公司 |
| 主分类号： | G06F40/289 | 分类号： | G06F40/289;G06F40/216;G06K9/62 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 100096 北京市海*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种异常分词的处理方法及系统，通过将测试集作为评价指标，并小批量在跨领域数据上进行迭代、消除分词异常，逐渐加入跨领域语料的正确分词，提高了分词模型在跨领域语料上的性能，具有辅助人工快速标注异常分词、提高标注效率的同时提高标注准确率的有益效果。 | ||
| 搜索关键词： | 异常 分词 处理 方法 系统 | ||
【主权项】：
1.一种异常分词的处理方法，其特征在于，所述异常分词的处理方法包括：将人工标注的跨领域分词语料作为测试集t，利用现有领域的分词模型A在所述测试集t上进行标注性能的测试，得到对应的性能参数p0；从未标注的跨领域语料中选取对应的测试数据，利用分词模型A进行预切分，得到初始分词结果seg1；利用所述现有领域对应的已知切分语料seg0，找出初始分词结果seg1中的异常分词并标注；基于所述性能参数p0以及异常分词的人工审核结果，对自动标注的异常分词进行处理，得到对应的分词结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于云知声智能科技股份有限公司，未经云知声智能科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810240662.4/，转载请声明来源钻瓜专利网。
