[发明专利]基于代价敏感二维尺度决策树构造方法

说明书

所属领域

本发明涉及人工智能、机器学习技术领域。

背景技术

早期的决策树分类算法旨在提高分类的精确度，后面的一维尺度代价敏感决策树分类局限性较大，在分类过程中存在较大的弊端。如之前只考虑测试代价时，得出的分类结果并不能权衡误分类所产生的代价影响。代价敏感学习是一种新的分类学习。它是通过训练集建立分类器时，以获得最小测试代价和误分类代价为目标。测试代价有限的条件下，基于最小测试代价的分类器并不是最好的，大部分研究认为把误分类代价和测试代价放在一起研究是十分必要，在付出的测试代价和所能减少的误分类代价之间进行权衡，以最小化包含这两种代价的总代价为目标，做出最佳的决策。

发明内容

针对上述不足，本发明提供了基于代价敏感二维尺度决策树构造方法。

本发明所采用的技术方案是：基于代价敏感二维尺度决策树构造方法，该方法应用测试代价与误分类代价之和最小值进行属性选择，依次构造决策树，为了解决得出的决策树存在过渡拟合问题，提出了后剪支方案，使得得出的决策树在预测未知对象时更加准确，本方法的具体实施步骤如下：

步骤1.设训练集中有X个样本，属性个数为n，即n＝(s₁，s₂，…s_n),同时分裂属性s_r对应了m个类L，其中L_k∈(L₁，L₂…，L_m),r∈(1，2…，n)，k∈(1，2…，m)，相关领域用户设定好误分类代价矩阵C、测试成本cost_S、经济因子w；

步骤1.1：设立误分类代价矩阵

类别标识个数为m，则该数据的代价矩阵m×m方阵是：

其中c_ij表示第j类数据分为第i类的代价，如果i＝j为正确分类，则c_ij＝0,否则为错误分类c_ij≠0，其值由相关领域用户给定,这里i，j∈(1，2，…，m)；

步骤2：创建根节点G；

步骤3：如果训练数据集为空，则返回结点G并标记失败；

步骤4：如果训练数据集中所有记录都属于同一类别，则以该类型标记结G；

步骤5：如果候选属性为空，则返回G为叶子结点，标记为训练数据集中最普通的类；

步骤6：根据总代价成本目标函数TOTAL从候选属性中选择属性splitS；总代价目标函数为：TOTAL＝f(S)+L(s，i)，其中f(S)为选择属性S时，为测试代价指标函数，L(s，i)为把选择属性S预测为第i类所引起的误分类代价指标函数；

当选择属性splitS满足总代价成本目标函数最小时，则找到标记结点G；

步骤7：标记结点G为属性splitS；

步骤8：由结点延伸出满足条件为splitS＝splitS_i分支；

步骤8.1：假设Y_i为训练数据集中splitS＝splitS_i的样本集合，如果Y_i为空，加上一个叶子结点，标记为训练数据集中最普通的类；

步骤9：非步骤8.1的情况，则递归调用步骤6至步骤8；

步骤10：利用后剪支技术解决此决策树模型中过度拟合问题；

步骤11：更新训练数据集，保存新的示例数据。

本发明的有益效果是：为了解决得出的决策树存在过渡拟合问题，提出了后剪支方案，使得得出的决策树在预测未知对象时更加准确，并且使最后得出的决策树误分类代价与测试代价之和最低。

具体实施方式

以下，详细描述此发明。

一、所述步骤6根据总代价成本目标函数TOTAL从候选属性中选择属性splitS，需要求解总代价成本目标函数，在求解此函数时会用到测试代价指标函数f(S)，以及误分类代价指标函数L(s，i)，在求解f(S)时会用到信息增益函数，具体的求解过程如下：

步骤6.1：求解测试代价指标函数

步骤6.1.1：求解信息增益函数gain(S)

属性S为测试属性，这些子集对应于包含集合P结点生长出来的分支，设Z_ij是子集Z_j中类L_i的样本数，则S划分子集的期望信息为：

为第j个子集的权，期望值越小，子集划分纯度越高，对于给定子集Z_j：