[发明专利]一种左右递归新词发现方法在审
| 申请号： | 201611152464.X | 申请日： | 2016-11-30 |
| 公开（公告）号： | CN106649666A | 公开（公告）日： | 2017-05-10 |
| 发明（设计）人： | 尹云飞;刘欢;曾亚飞 | 申请（专利权）人： | 浪潮电子信息产业股份有限公司;重庆大学 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 250101 山东省济南*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种左右递归新词发现方法，属于搜索引擎技术领域，来源于词法分析和快速检索使用和研发实践。该方法用信息熵来衡量一个字符串的左邻集合和右邻集合的随机性、将新词分为实体名词、派生词、缩略词、复合词和数字组合词，其处理步骤包括语料预处理、位置集合计算、集合遍历、收纳性判断、词频计算、左递归、右递归、合并。 | ||
| 搜索关键词： | 一种 左右 递归 新词 发现 方法 | ||
【主权项】：
一种左右递归新词发现方法，包括语料预处理[1]、位置集合计算[2]、集合遍历[3]、收纳性判断[4]、词频计算[5]、左递归[6]、右递归[7]、合并[8]八个步骤：语料预处理[1]：通过正则过滤、全半角转换、空白符号删除、无关特殊符删除、非文本删除、断句切分对输入语料进行处理；位置集合计算[2]：计算输入语料中的字在输入语料中出现的位置；集合遍历[3]：遍历位置集合；收纳性判断[4]：判断位置集合中的每一个元素是否满足收纳规则的要求；词频计算[5]：计算每一个字出现的频次；左递归[6]：针对每一个字，依次取其左边的字组成新词并进行判断；右递归[7]：针对每一个字，依次取其右边的字组成新词并进行判断；合并[8]：将左递归发现的新词集合与右递归发现的新词集合进行合并。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浪潮电子信息产业股份有限公司;重庆大学，未经浪潮电子信息产业股份有限公司;重庆大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611152464.X/，转载请声明来源钻瓜专利网。
