[发明专利]一种领域新词发现的方法及装置有效
| 申请号： | 201610909379.7 | 申请日： | 2016-10-19 |
| 公开（公告）号： | CN106502984B | 公开（公告）日： | 2019-05-24 |
| 发明（设计）人： | 谢瑜;张昊;朱频频 | 申请（专利权）人： | 上海智臻智能网络科技股份有限公司 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27 |
| 代理公司： | 工业和信息化部电子专利中心 11010 | 代理人： | 罗丹 |
| 地址： | 201803 上海市嘉*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提出了一种领域新词发现的方法及装置，该方法包括：获取通用新词候选词串；根据预先设定的领域类别及对应的领域语料，采用统计的方法判断所述通用新词候选词串是否为领域新词候选词串；当所述新词候选词串为领域新词候选词串时，通过相似度计算判断所述领域新词候选词串是否为领域新词。作为为领域新词候选词的过滤提供了新的思路，本发明能够简便且有效地过滤掉部分垃圾词串和通用词，筛选出领域新词从而减少了工作量，降低了人工成本。以爬取的百度知道语料为例，领域新词的准确率为91.5％左右。 | ||
| 搜索关键词： | 一种 领域 新词 发现 方法 装置 | ||
【主权项】：
1.一种领域新词的发现方法，其特征在于，包括：获取通用新词候选词串；根据预先设定的领域类别及对应的领域语料，采用统计的方法判断所述通用新词候选词串是否为领域新词候选词串；当所述新词候选词串为领域新词候选词串时，通过相似度计算判断所述领域新词候选词串是否为领域新词；采用统计的方法判断所述通用新词候选词串是否为领域新词候选词串包括：采用包括所述通用新词候选词串的词典对每个所述领域语料进行分词处理，得到各领域的词语集；计算所述通用新词候选词串在每个所述领域语料的出现概率，并将最大的所述出现概率对应的领域类别作为目标领域类别；计算所述通用新词候选词串在至少部分预先设定的领域类别中分布的信息熵，当所述信息熵小于或等于信息熵阈值时，所述通用新词候选词串为所述目标领域类别的领域新词候选词串。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海智臻智能网络科技股份有限公司，未经上海智臻智能网络科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610909379.7/，转载请声明来源钻瓜专利网。
- 上一篇：一种水稻抗胡麻叶斑病育种方法
- 下一篇：一种水稻稻瘟病抗性定向改良方法
