[发明专利]适用于网络新词的分词处理方法及装置在审
申请号: | 201810191641.8 | 申请日: | 2018-03-08 |
公开(公告)号: | CN110245345A | 公开(公告)日: | 2019-09-17 |
发明(设计)人: | 赵琦;韦玮 | 申请(专利权)人: | 普天信息技术有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 王莹;李相雨 |
地址: | 100080 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供一种适用于网络新词的分词处理方法及装置,包括:对目标文段进行分词处理,获得多个分词语;选取在目标文段中相邻的分词语作为目标词语,统计目标词语出现的次数,以及统计相邻的分词语各自出现的次数;根据目标词语的次数、相邻的分词语各自出现的次数确定目标词语是否为初始网络新词。本发明实施例提供的适用于网络新词的分词处理方法及装置,通过对目标文段进行分词处理,获得多个分词语,选取在目标文段中相邻的分词语作为目标词语,统计目标词语出现的次数,以及统计相邻的分词语各自出现的次数;根据目标词语的次数、相邻的分词语各自出现的次数确定目标词语是否为初始网络新词,能够发现网络新词,使网络新词的分词效果更好。 | ||
搜索关键词: | 词语 目标词语 分词处理 文段 初始网络 统计目标 网络 分词 统计 发现 | ||
【主权项】:
1.一种适用于网络新词的分词处理方法,其特征在于,包括:对目标文段进行分词处理,获得多个分词语;选取在所述目标文段中相邻的分词语作为目标词语,统计所述目标词语出现的次数,以及统计所述相邻的分词语各自出现的次数;根据所述目标词语的次数、所述相邻的分词语各自出现的次数和预设的判定公式确定所述目标词语是否为初始网络新词。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于普天信息技术有限公司,未经普天信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810191641.8/,转载请声明来源钻瓜专利网。
- 上一篇:权利要求书的自动解构处理装置
- 下一篇:事件信息分析方法及装置