[发明专利]一种基于过滤器和RF-RFE算法的特征选择方法

权利要求书

1.一种基于过滤器和RF-RFE算法的特征选择方法，其特征在于，该方法包括以下步骤：

步骤1：数据预处理模块，对完整数据集进行缺失值处理、离散化处理。

步骤2：冗余特征处理模块，使用信息增益和相关性相结合的过滤器方法对冗余特征进行删除。

步骤3：特征选择模块，采用RF-RFE方法对冗余特征处理后剩余的特征进行特征选择。

2.根据权利要求1所述的一种基于过滤器和RF-RFE算法的特征选择方法，其特征在于，所述步骤1中，数据预处理模块，对完整数据集进行缺失值处理、离散化处理，具体步骤为：

步骤1-1删除数据中含有缺失值的样本；

步骤1-2采用自上而下的、有监督的CAIM离散算法对无缺失值的数据的连续型特征进行离散化处理，处理公式为：

其中，q_ir(i＝1,2,...,S；r＝1,2,...,n)表示样本中属于i类且属于区间(d_r-1,d_r]的个数，max_r是所有q_ir中的最大值，M_i+是属于第i类的样本个数总和，M_+r是属于区间(d_r-1,d_r]的样本个数总和，n表示区间个数。

3.根据权利要求1所述的一种基于过滤器和RF-RFE算法的特征选择方法，其特征在于，所述步骤2中冗余特征处理模块，使用信息增益和相关性相结合的过滤器方法对冗余特征进行删除，具体步骤为：

步骤2-1计算每个特征的信息增益值，其计算公式为：

IG＝H(Class)+H(Attibute)-H(Class,Attibute)

其中，H是由定义的香农熵，P(X_i)为概率函数；

步骤2-2根据计算的信息增益值对特征进行排序；

步骤2-3采用Pearson相关性系数计算两两特征之间的相关性，设f_x和f_y为预处理后的数据集合中除目标变量外任意的两个特征，f_x＝{f_x1,f_x2...f_xn}，f_y＝{f_y1,f_y2...f_yn}，n为预处理后的数据集合所含样本的个数，特征f_x和特征f_y之间的Pearson相关系数的绝对值公式为：

其中，和为对应特征的样本均值，|ρ_xy|的值代表特征f_x和f_y之间的相关程度；

步骤2-4结合步骤2-2的特征排序和步骤2-3计算的特征之间的Pearson相关系数，将Pearson相关系数超过0.7的两个特征中信息增益值较小的特征删除。

4.根据权利要求1所述的一种基于过滤器和RF-RFE算法的特征选择方法，其特征在于，所述步骤3中，特征选择模块，采用RF-RFE方法对冗余特征处理后剩余的特征进行特征选择，具体步骤为：

步骤3-1将冗余特征删除后剩余的特征子集设为初始特征子集X；

步骤3-2更新含特征子集X的数据集D；

步骤3-3将数据集D划分为训练集T和测试集S；

步骤3-4使用训练集T建立RF模型，计算每个特征的基尼指数作为特征重要性，设特征有V个可能的取值特征的基尼指数计算公式为：

其中，Gini(T^V)是由定义的基尼值，p_k(k＝1,2...,|y|)为训练集T中第k类样本所占的比例；

步骤3-5计算训练集T建立的RF模型在测试集S上的准确率，准确率计算公式为：

其中，TP表示真正例，即实际为正预测为正，TN表示真反例，即实际为负预测为负，FP表示假正例，即实际为负但预测为正，FN表示假反例，即实际为正但预测为负；

步骤3-6从特征子集中删除基尼指数最小的一个特征，更新特征子集X；

步骤3-7重复步骤3-2、步骤3-3、步骤3-4步骤3-5和步骤3-6，直到特征子集X数量为0；

步骤3-8选取在RF模型上准确率最高的特征子集数量和对应的特征作为最终的特征子集。