[发明专利]一种不良文本信息过滤用特征选择方法

权利要求书

1.一种不良文本信息过滤用特征选择方法，其特征在于，先从类别语料库中提取所有特征项，构建初始特征项集合；然后根据包含特征项t_j对不良类别中任一类别C_i的χ²统计量χ²(t_j,C_i)、改良后的逆文档频率IDF、逆类别频率ICF和逆不良文档频率IHDF计算得到分类特征权重值CTW值，利用分类特征权重值CTW值作为特征选择的依据，对特征项进行筛选；最后将筛选的初始特征项集合中的特征项按照CTW值的大小由高到低排序，选取a个特征项组成最终特征项集合。

2.根据权利要求1所述的一种不良文本信息过滤用特征选择方法，其特征在于，利用改良后的逆文档频率IDF值均衡特征项在包含全部类别在内的类内类间分布情况；利用逆类别频率ICF值弥补了训练文档集合的类别倾斜；利用逆不良文档频率IHDF值均衡了特征项在不良类别与正常类别之间的分布情况，则分类特征权重值CTW值计算如下：

CTW＝χ²(t_j,C_i)×IDF×ICF×IHDF。

3.根据权利要求1或2所述的一种不良文本信息过滤用特征选择方法，定义N为训练文档总数，C_i为不良类别中任一类别，t_j为C_i类初始特征项集合中的任一特征项，A为既包含特征项t_j又属于类别C_i的文档频数；B为虽然包含特征项t_j但不属与类别C_i的文档频数；C为类别C_i中不包含特征项t_j的文档频数；D为所有文档中既不包含特征项t_j又不属于类别C_i的文档频数，则训练文档总数N＝A+B+C+D。

4.根据权利要求3所述的一种不良文本信息过滤用特征选择方法，其特征在于，χ²(t_j,C_i)计算如下：

5.根据权利要求3所述的一种不良文本信息过滤用特征选择方法，其特征在于，改良后的逆文档频率IDF具体计算如下：

其中，n为包含该特征项t_j的文档数；m为类别C_i中包含该特征项t_j的文档数；k为除类别C_i外其他各类包含该特征项t_j的文档数，且n＝m+k。

6.根据权利要求3所述的一种不良文本信息过滤用特征选择方法，其特征在于，逆类别频率ICF计算如下：

其中，p为训练文档集合的全部类别数量；q为包含特征项t_j的类别数量。

7.根据权利要求3所述的一种不良文本信息过滤用特征选择方法，其特征在于，逆不良文档频率IHDF计算如下：

其中，N为训练文档总数；w为包含该特征项t_j的文档数；v为全部不良类别中包含该特征项t_j的文档数；l为除不良类别外其他正常类别各类包含该特征项t_j的文档数；且w＝v+l。

8.根据权利要求1所述的一种不良文本信息过滤用特征选择方法，其特征在于，设最终测试的文档总数N＝TP+FP+FN+TN，分别计算得到过滤效果的正确率P_i和召回率R_i，进而得到最终过滤效果的综合评价指标用于验证，TP为被检索到与目标类别相关的文档数量；FP为被检索到但与目标类别无关的文档数量；FN为被检索到但与目标类别相关的文档数量；TN为被检索到与目标类别无关的文档数量。