[发明专利]一种用于不平衡数据的基于X-mean和样本错分类率集成分类方法

权利要求书

1.一种用于不平衡数据的基于X-mean和样本错分类率集成分类方法，其特征在于：包括以下步骤：

步骤1.基于X-mean算法的样本子集构建方法

设训练集S＝{S_neg，S_pos}，我们采用K-means算法对反例样本进行聚类，对于给定的反例样本集D，其中含有n个样本；设定阈值为正反例样本比例T，将反例样本划分为T个簇，分别为K₁，K₂，..…，K_t，其中，K_i，K_j∈D，即各簇之间交集为空，划分的T个簇具有簇内相似，组间相异特点；

对于任意的簇K_i，定义k_m为它的质心，质心通过簇内特征集平均值方法获得，而簇内任意样本k_n与质心的距离定义为dist(k_n，k_m)，将簇K₁的质量E定义为簇内所有样本特征集与质心距离的平方和，如下：

通过计算期初最优距离分布，使样本在所在簇内距离最小，而与其他簇距离最大，簇与簇之间最大程度相互独立；基于K-means算法构建质心近距离训练样本平衡方法伪代码描述为：

步骤2.弱分类器平衡数据子集构建

正反例数据比为T，将所有反例样本分为T组，对于每一组，选取T分之一距离聚类质心距离最近的样本被选取构成训练子集1的反例样本S_neg1；接下来S_neg1与所有正例样本S_pos联合构成平衡的训练子集1 S₁，即

S₁＝S_neg1∪S_pos

接下来，训练第一个弱分类器，训练集S采用该分类器进行分类，而且，错分类样本集1S_incor1与训练子集1S₁一起构成新的训练子集2 S₂用来训练下一个分类器；因此，训练子集S_i定义为：

S_i＝S_pos∪S_neg1∪S_incorr(i-1)∪S_incorr(i-2)…∪S_incorr1

步骤3.弱分类器构建

分类器输入为所有候选者，输出为每一候选为真的概率，最后，根据实际情况确定选取需要结果，弱分类器选择贝叶斯、支持向量机、随机森林和决策树算法中的一个；

步骤4.基于AdaBoost算法集成分类器构建

基于AdaBoost算法集成分类器构建算法描述如下：

设有训练集样本S＝{(x_i，y_i)|i＝1，2，...n}，其中x_i∈X为样本，y_i∈Y＝(+1，-1}为样本类别，

第一步，初始化样本权值，设定训练集S在第t轮训练中样本x_i权值为D_t(i)，其中第一轮样本权值初始化为：

D₁＝(P₁₁，P₁₂…P_1i...，P_1N)，P₁₁＝P₁₂＝…＝P_1N＝1/N

第二步，训练弱分类器，在训练过程中，给定每一个样本为真概率，选取概率最大候选者类别为+1，其他候选者类别为-1，即分类器G_t(X)：X→{-1，+1}；

第三步，设定训练轮数T；

第四步，定义训练集S的权值分布：

D_t＝{P_t1，P_t2，...，P_tN}

其中D_t是由每个样本权重组成向量集。从训练集S中，根据样本权重构建训练子集S_t；

第五步，计算训练子集错分率，假定G_t(X)：X→Y}，样本错分率：

第六步，计算样本及分类器权重，分类器权重为：

样本集权重更新为：

D_t+1＝(P_t+1，1，P_t+1，2…P_t+1，i…，P_t+1，N) (8)式(8)中，

式(9)中，z_t定义为下一轮训练集权重，是一个一般化常量，定义为：

最后，根据各弱分类器G_t(X)及其权重集成分类器，定义为：