[发明专利]一种文本分类特征提取方法、分类方法及装置有效
| 申请号： | 201210578378.0 | 申请日： | 2012-12-27 |
| 公开（公告）号： | CN103902570B | 公开（公告）日： | 2018-11-09 |
| 发明（设计）人： | 李鑫;张延祥 | 申请（专利权）人： | 腾讯科技（深圳）有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 广州三环专利商标代理有限公司 44202 | 代理人： | 郝传鑫;熊永强 |
| 地址： | 518057 广东省深圳*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 文本 分类 特征 提取 方法 装置 | ||
1.一种文本分类特征提取方法，其特征在于，包括：
获取训练集文本的特征词集合；
根据特征词集合中各特征词与预置文本类别的相关度以及特征词的词长度，确定各特征词的特征评分值，包括：
确定特征词集合中各特征词与预置的每一个文本类别的相关度；
根据各特征词的词长度确定各特征词的长度权重值；
根据各特征词与预置文本类别的相关度和长度权重值，确定各特征词的特征评分值；
记录特征评分值高于预设分数阈值的特征词，得到所述训练集文本的文本特征集合。
2.如权利要求1所述的提取方法，其特征在于，所述获取训练集文本的特征词集合包括：
对训练集文本进行分词处理，得到所述训练集文本的词语集合；
删除所述词语集合中的停用词，得到特征词集合，所述词语集合中的停用词包括语气助词和/或人称代词。
3.如权利要求2所述的方法，其特征在于，所述删除所述词语集合中的停用词，得到特征词集合，包括：
将所述词语集合中各个分词与预设的停用词库中的预置停用词进行比较；
根据比较结果将词语集合中与预置停用词相同的分词删除，得到特征词集合。
4.如权利要求1所述的方法，其特征在于，所述根据各特征词与预置文本类别的相关度和长度权重值，确定各特征词的特征评分值，包括：
根据各特征词与预置文本类别的相关度，确定各特征词在各对应文本类别上的类别区分能力；
确定各特征词在预置的所有文本类别上的类别区分能力之和；
根据类别区分能力之和与长度权重值，确定各特征词的特征评分值。
5.如权利要求4所述的方法，其特征在于，所述确定特征词集合中各特征词与预置文本类别的相关度中，确定相关度的计算公式包括：
其中，Rjk表示特征词tk与文本类别Cj的相关度，|{i:tk∈dj,dj∈Cj}|表示文本类别Cj中出现特征词tk的文档数，|Cj|表示文本类别Cj的文档总数。
6.如权利要求1所述的方法，其特征在于，所述根据各特征词的词长度确定各特征词的长度权重值中，确定长度权重值的计算公式包括：
weight(len(tk))＝log(e+len(tk))；
其中，e为预设的自然数值，len(tk)为特征词tk的长度值。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于腾讯科技（深圳）有限公司，未经腾讯科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201210578378.0/1.html，转载请声明来源钻瓜专利网。
