[发明专利]特征词提取方法及装置在审
| 申请号： | 201711446082.2 | 申请日： | 2017-12-27 |
| 公开（公告）号： | CN108132930A | 公开（公告）日： | 2018-06-08 |
| 发明（设计）人： | 郭庆;张建磊;宋怀明 | 申请（专利权）人： | 曙光信息产业（北京）有限公司 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27;G06F17/30 |
| 代理公司： | 北京德恒律治知识产权代理有限公司 11409 | 代理人： | 章社杲;卢军峰 |
| 地址： | 100193 北京*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 特征词提取 权重 加权 同义词 词语 同义词集合 文本 词语集合 候选特征 权重计算 合并 词集合 特征词 优化 分析 | ||
1.一种特征词提取方法，其特征在于，包括：
利用TF-IDF加权方法对文本的词语集合中的词语进行权重计算得到词语权重；
根据文本中的同义词生成同义词集合，并根据所述词语权重对所述同义词集合中的同义词进行合并加权；
根据合并加权后的权重值生成候选特征词集合以选取特征词。
2.根据权利要求1所述的特征词提取方法，其特征在于，在生成候选特征词集合之后，还包括：
判断候选特征词是否在关联词词库中；
若所述候选特征词在所述关联词词库中，则判断所述候选特征词的关联词中是否存在非候选特征词；
若所述候选特征词的关联词中存在非候选特征词，则根据所述候选特征词和所述非候选特征词的关联度对所述权重值进行调整。
3.根据权利要求2所述的特征词提取方法，其特征在于，其中，
若所述候选特征词不在所述关联词词库中，则不对所述权重值进行调整；
若所述候选特征词的关联词中不存在非候选特征词，则不对所述权重值进行调整。
4.根据权利要求2所述的特征词提取方法，其特征在于，在对所述权重值进行调整之后还包括选取特征词，选取特征词具体包括：
对调整后的权重值由高至低进行排序，并将调整后的所述权重值大于设定阈值的候选特征词作为文本的所述特征词。
5.根据权利要求1所述的特征词提取方法，其特征在于，根据合并加权后的权重值生成候选特征词集合，具体包括：
将所述权重值大于设定阈值的词语作为候选特征词，并将所述候选特征词的集合作为特征候选词集合。
6.一种特征词提取装置，其特征在于，包括：
权重计算模块，利用TF-IDF加权方法对文本的词语集合中的词语进行权重计算得到词语权重；
合并模块，用于根据文本中的同义词生成同义词集合，并根据所述词语权重对所述同义词集合中的同义词进行合并加权；
选取模块，用于根据合并加权后的权重值生成候选特征词集合以选取特征词。
7.根据权利要求6所述的特征词提取装置，其特征在于，还包括：
判断模块，用于判断候选特征词是否在关联词词库中；若所述候选特征词在所述关联词词库中，则判断所述候选特征词的关联词中是否存在非候选特征词；
权重调整模块，用于在所述候选特征词的关联词中存在非候选特征词时，根据所述候选特征词和所述非候选特征词的关联度对所述权重值进行调整。
8.根据权利要求7所述的特征词提取装置，其特征在于，其中，
所述判断模块若判断所述候选特征词不在所述关联词词库中，则所述权重调整模块不对所述权重值进行调整；
所述判断模块若判断所述候选特征词的关联词中不存在非候选特征词，则所述权重调整模块不对所述权重值进行调整。
9.根据权利要求7所述的特征词提取装置，其特征在于，还包括：
特征词确定模块，用于对调整后的权重值由高至低进行排序，并将调整后的所述权重值大于设定阈值的候选特征词作为文本的特征词。
10.根据权利要求6所述的特征词提取装置，其特征在于，所述选取模块包括：
选取子模块，用于将所述权重值大于设定阈值的词语作为候选特征词，并将所述候选特征词的集合作为特征候选词集合。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于曙光信息产业（北京）有限公司，未经曙光信息产业（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201711446082.2/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种海量非结构化文本的相似性计算方法
- 下一篇：一种文本语义匹配的方法及装置
