[发明专利]基于条件互信息的特征选择方法

摘要

本发明属于机器学习、数据挖掘技术领域，为提出新的特征选择方法。为此，本发明采用的技术方案是，基于条件互信息的特征选择方法，步骤如下：1)X为一离散随机变量，p(x)为该变量的概率密度函数，信息熵被用来表述所获信息量的大小；2)基于条件互信息的特征选择算法基于式(5)，对候选特征集和已选特征集进行初始化，并计算候选特征集中特征与类标签的互信息值，选取具有最大互信息值的特征；然选取使式(5)取得最大值的特征，按照上述过程循环选取特征，直至选取特征数为N，结束循环。本发明主要应用于机器学习、数据挖掘场合。

主权项

1.一种基于条件互信息的特征选择方法，其特征是，步骤如下：1)X为一离散随机变量，p(x)为该变量的概率密度函数，信息熵被用来表述所获信息量的大小，信息熵H(X)表示为：互信息常被用来量化两变量所包含的共同信息，X和Y的互信息I(X；Y)表示为：I(X；Y)＝I(Y；X)                                                    (3)其中，p(x)、p(y)分别为变量X、Y的概率密度函数，p(x,y)为变量X和Y的联合概率密度函数，I(Y；X)为Y和X的互信息；条件互信息被用来量化一个变量已知情况下，另外两个变量所包含的共同信息，I(X；Y/Z)表示为：其中，p(x,y,z)为变量X、Y和Z的联合概率密度函数，p(x,y/z)为在Z＝z条件下X、Y的联合概率密度函数，p(x/z)为在Z＝z条件下X的概率密度函数，p(y/z)为在Z＝z条件下Y的概率密度函数；2)基于条件互信息的特征选择算法候选特征fi与类标签c的互信息I(fi；c)，表明该特征fi与类标签c的相关程度，其值越大，表明特征与类标签越相关；候选特征fi、已选特征fs和类标签c的条件互信息I(fi；c/fs)，表明选取该特征fi所能带来的关于类标签的新信息，其值越大，表明选取该特征所能带来的关于类标签的新信息越多，所以，提出如式(5)的度量标准：基于式(5)，特征选择过程如下：首先，对候选特征集和已选特征集进行初始化，并计算候选特征集中特征与类标签的互信息值，选取具有最大互信息值的特征；然后，先计算I(fi；c/fs)，再计算式(5)，并选取使式(5)取得最大值的特征，按照上述过程循环选取特征，直至选取特征数为N，结束循环。