[发明专利]多标准误分类代价敏感决策树构建方法

说明书

技术领域

本发明涉及人工智能、数据挖掘和机器学习领域，具体涉及一种多标准误分类代价敏感决策树构建方法。

背景技术

在归纳学习技术中如何尽量减少误分类错误是主要焦点，例如CART和C4.5。在归纳问题上误分类不仅是一个错误，即错误分类所带来的代价不容忽略。在代价敏感学习CLS算法中，误分类代价为同一单位标准，但在现实世界的应用程序误分类代价通常有不同的单位。把不同单位标准的误分类代价量化成一个唯一单位代价是非常困难的。分裂属性选择是决策树构建的一个关键又基本过程，最流行的属性选择方法侧重于测量属性的信息增益。当错误分类所引起的代价不容忽视时，很自然地把降低代价机制和属性信息结合起来作为分裂属性选择标准，这样构成的决策树既提高了分类精度，同时误分类代价达到最优，我们的目的就是得到最低的误分类代价。这样形成的决策树更适合在医疗诊断过程中。基于这种需求，本发明提出多标准误分类代价敏感决策树构建方法。

发明内容

本发明所要解决技术问题是决策过程中误分类代价和属性信息之间的平衡性问题、误分类代价不同单位机制问题以及构成的决策树过度拟合问题，提供一种多标准误分类代价敏感决策树构建方法。

为解决上述问题，本发明的是通过以下技术方案实现的：

多标准误分类代价敏感决策树构建方法，包括如下步骤：

步骤1.设训练集中有X个样本，属性个数为n，即n＝(s₁，s₂，…s_n),同时分裂属性s_r对应了m个类L，其中L_i∈(L₁，L₂…，L_m),r∈(1，2…，n)，i∈(1，2…，m)。设误分类代价矩阵为C，C由用户指定。

步骤2：创建根节点G。

步骤3：如果训练数据集为空，则返回节点G并标记失败。

步骤4：如果训练数据集中所有记录都属于同一类别，则以该类型标记节点G。

步骤5：如果候选属性为空，则返回G为叶子节点，标记为训练数据集中最 普通的类。

步骤6：根据代价敏感的候选属性选择因子ASF候选属性中选择splitS。

候选属性选择因子ASF：

averagegain(S)为选择属性S的平均信息增益，reduce_mc(S)为选择属性S作为分裂属性时的误分类代价减少率。

当选择属性splitS满足目标函数ASF(S)最小时，则找到标记节点G。如果一些属性具有相同的ASF值，为了打破平局的标准，再按照更大的reduce_mc(S)值来优先选择候选属性。这样构建的决策树优先遵从误分类代价最低的原则。

步骤7：标记节点G为属性splitS。

步骤8：由根据基尼指数gini(S_i)值延伸出满足条件为splitS＝splitS_i分支。

8.1这里假设Y_i为训练数据集中splitS＝splitS_i的样本集合。满足以下两条件之一，则终止建树。

(1)如果Y_i为空，加上一个叶子节点，标记为训练数据集中最普通的类。

(2)在一节点中所有例子属于相同类。

步骤9：非8.1中情况，则递归调用步骤6至步骤8。

步骤10：为避免决策树中存在过渡拟合问题，利用后剪支技术对决策树进行剪支操作。

本发明的有益效果：

1，对属性信息增益进行优化处理，避免因属性信息增益过小而忽略了属性信息的风险。

2，把不同单位标准的误分类代价量化为同一单位标准，降低了误分类代价单位异质性对分裂属性选择的影响。

3，考虑了误分类代价和属性信息之间的平衡性，在决策过程中，使得误分类代价达到最小，同时提高了决策树分类精度。

4，构建多标准误分类代价敏感决策树有效地避免了过度拟合的问题。

附图说明

附图为多标准误分类代价敏感决策树结构流程图

具体实施方式

1、上述步骤1中误分类代价矩阵C的设定过程如下：

类别标识个数为m，则该数据的代价矩阵m×m方阵是：