[发明专利]一种基于信息变化率及条件互信息的特征变量选择方法

权利要求书

1.一种基于信息变化率和条件互信息的特征变量选择方法，其特征在于：包括以下步骤：

(1)初始化阶段：获取待选特征变量数据集、模型输出目标，令F为待选因子初始集，S是用于存放最终入选因子的空集，c是输出因子；

(2)依次计算待选因子f_i与输出因子c之间的互信息值；

(3)根据互信息值最大原则确定第一个入选因子；

(4)基于信息论提出信息变化率的概念；

(5)根据条件互信息和信息变化率确定其他入选因子，完成特征变量选择；

(6)将所提取的特征变量输入自适应神经模糊推理系统进行住宅价值的预测；

步骤(1)所述数据集共有506组数据、14个属性，用于模拟住宅周边情况与住宅价值的关系；其中，序号1～13的属性为每栋住宅周边的情况，序号14为住宅的价值，可以应用1～13的属性值对住宅的价值14进行预测；将序号1～13的住宅周边属性值作为待选输入因子表示为X₁，X₂，……，X₁₃，将序号14住宅价值的属性值作为输出因子c；

所述步骤(4)包括以下步骤：

(41)提出的信息变化率的概念：F为待选因子集合，f_i为待选因子，有f_i∈F，i＝1,2,···,n，S为入选因子集合，s_i为入选因子，有s_i∈S，c为输出量，则：

其中，λ表示的是在入选因子已知的前提下，待选因子f_i入选后对输出量c的信息量与所有入选因子对输出量的信息量的比值，定量评价待选因子f_i对输出量c的重要性或者贡献率；

(42)当入选因子集S中包含有2个及以上因子时，MI(c；f_i|S)采用如下公式计算：MI(c；f_i|S)≈MI(c；f_i|f₁)+[MI(f_m；f_i|c)-MI(f_m；f_i|f₁)]，其中，f₁为首个入选因子，f_i为当前待选因子，f_m为上一轮入选因子；对多个因子的联合互信息MI(c；f_i；S)计算采用k-近邻互信息计算方法，其中n为输入样本数目；

所述步骤(5)包括以下步骤：

(51)判定待选因子集F是否为空集，若F不为空集，则计算MI(f_i；S；c)与MI(c；f_i|S)，S为入选因子集，并将MI(c；f_i|S)按降序排列；其中，MI(c；f_i|S)为待选因子f_i入选后对输出量c的信息量；MI(f_i；S；c)为待选因子、入选因子集合与输出量之间的互信息值；

(52)判断联合互信息值的变化情况：设定某一阈值参数ε，由MI(c；f_i|S)最大的待选变量开始计算，若则表明f_i的入选大幅度增加了联合互信息值，即f_i对输出量信息贡献度较大；在此情况下，包含f_i及之前的全部待选因子入选；其中参数ε取值的区间为[0.5,1]，接下来从f_i+1开始执行(53)；否则，算法从第二个待选因子开始执行(53)；

(53)对每个待选因子计算信息变化率λ，如果满足max(MI(c；f_i|S)，λ)＞δ，则将入选变量f_i移出待选因子集，加入已选因子集；其中δ为设定参数，表征待选因子对输出变量的贡献率，取值范围为[0,1]；选出所有满足要求的待选变量因子，组成特征子集。

2.根据权利要求1所述的一种基于信息变化率和条件互信息的特征变量选择方法，其特征在于，所述步骤(2)通过以下公式实现：

其中，MI为互信息值，f_i(i＝1,2,···,n)表示待选变量集F中的第i个待选因子。