[发明专利]一种垃圾短信的过滤方法及装置

权利要求书

1.一种垃圾短信的过滤方法，其特征在于，包括：

提取获取到的短信文本中各类噪音特征，所述各类噪音特征包括：特殊格式特征、干扰特征、文本长度特征和名词个数特征；

分别确定所述各类噪音特征在所述短信文本中的权重；

根据所述各类噪音特征的权重，构建所述各类噪音特征的向量空间；

根据构建出的所述各类噪音特征的向量空间，以及预先训练完成的决策树分类器，确定所述各类噪音特征的向量空间是否满足所述决策树分类器中垃圾短信的分类条件；

在确定所述各类噪音特征的向量空间满足所述决策树分类器中垃圾短信的分类条件时，将所述短信文本确认为垃圾短信。

2.如权利要求1所述的过滤方法，其特征在于，所述提取获取到的短信文本中各类噪音特征，具体包括：

对所述短信文本进行文本分词和词性标注；

根据所述文本分词的结果，提取所述短信文本中的包含特殊字符、数字和字母的特殊格式特征；

根据所述词性标注的结果，提取文本长度特征和名词个数特征；

根据所述文本分词和词性标注的结果，提取包含各种反拦截行为的干扰特征。

3.如权利要求1所述的过滤方法，其特征在于，所述分别确定所述各类噪音特征在所述短信文本中的权重，具体包括：

根据预先设定的各噪音特征的分值，确定所述短信文本中的各所述噪音特征的得分；

将属于同一类的各所述噪音特征的得分之和确定为该类噪音特征在所述短信文本中的权重。

4.如权利要求1-3任一项所述的过滤方法，其特征在于，在确定所述各类噪音特征的向量空间不满足所述决策树分类器中垃圾短信的分类条件时，还包括：

去除所述短信文本中的包含所述特殊格式特征和所述干扰特征的无具体含义词语，生成仅包含具体含义词语的内容文本；

根据信息增益方式在所述内容文本中选择关键词特征集合；

确定所述关键词特征集合在所述内容文本中的权重；

根据所述关键词特征集合的权重，构建所述关键词特征集合的向量空间；

根据构建出的所述关键词特征集合的向量空间，以及预先训练完成的迭代AdaBoost朴素贝叶斯分类器，确定所述关键词特征集合的向量空间是否满足所述AdaBoost朴素贝叶斯分类器中垃圾短信的分类条件；

在确定所述关键词特征集合的向量空间满足所述AdaBoost朴素贝叶斯分类器中垃圾短信的分类条件时，将所述短信文本确认为垃圾短信；

在确定所述关键词特征集合的向量空间不满足所述AdaBoost朴素贝叶斯分类器中垃圾短信的分类条件时，将所述短信文本确认为非垃圾短信并发送至短信接收方。

5.如权利要求4所述的过滤方法，其特征在于，在根据信息增益方式在所述内容文本中选择关键词特征集合之后，还包括：

通过文档主题生成模型LDA对所述关键词特征集合进行同义词扩展。

6.如权利要求4所述的过滤方法，其特征在于，所述确定所述关键词特征集合在所述内容文本中的权重，具体包括：

采用词频-逆向文件频率TF-IDF的方式，计算所述关键词特征集合在所述内容文本中的权重。

7.如权利要求4所述的过滤方法，其特征在于，所述确定所述关键词特征集合的向量空间是否满足所述AdaBoost朴素贝叶斯分类器中垃圾短信的分类条件，具体包括：

根据所述AdaBoost朴素贝叶斯分类器中的各短信类别，分别计算所述关键词特征集合分别属于各所述短信类别的概率，确定所述关键词特征集合的最大概率对应的短信类别是否为垃圾短信类别。