[发明专利]一种基于二分法的优化CART决策树生成方法及其装置

说明书

技术领域

本发明属于故障诊断和数据挖掘技术领域，具体涉及基于二分法的优化CART决策树生成方法及其装置。

背景技术

随着工业设备自动化水平的不断提高，设备故障诊断技术在各个工业领域都受到了普遍重视。目前，以转子为核心工作部件的回转设备(如压缩机，透平机等)的故障诊断技术已基本成熟，而对于一些复杂设备(如发动机，复式压缩机等)的故障诊断技术仍然是一个难题。由于传统的故障诊断方法的复杂性，自上世纪90年代数据挖掘这一概念提出之后，就开始被广泛应用在故障诊断技术中。分类就是一种典型的用来进行数据挖掘的方法。

CART(Classification And Regression Tree)算法，即分类回归树算法，是数据挖掘十大经典算法之一，由Leo Breiman,Jerome Friedman,Richard Olshen和Charles Stone于1984年提出，被称为数据挖掘领域内里程碑式的算法。

CART决策树是一种有效的非参数分类和回归方法，通过构建树、修剪树、评估树来构建一个二叉树当终节点是连续变量时，该树为回归树；当终节点是分类变量时，该树为分类树。通常决策树实现有三种，ID3算法、C4.5算法和CART算法。三者的主要区别在于属性选择度量的不同，ID3算法使用信息增益只能处理标称型数据集，C4.5在ID3的基础上采用了信息增益率进行分类，能够处理连续型数据，但在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。CART算法则使用基尼指数作为属性选择度量，同样也能处理连续数据，同时既能处理分类问题，又能处理回归问题，也提高了分类的效率。树剪枝使用统计度量，减去最不可靠的分支，这将导致较快的分类，提高树独立于训练数据正确分类的能力。目前，CART算法的应用最为广泛，在常用的随机森林集成算法中使用的也是CART算法。

CART算法使用基尼指数作为属性选择度量，之所以选择基尼指数，是因为较于熵而言其计算速度更快一些。在对连续属性进行分类时，CART算法计算所有两个相邻数据点的中点处的基尼指数，比较这些基尼指数，取基尼指数最小的点作为分裂点。也就是说，假设数据集中有n个点，一个分裂过程需要计算(n-1)次基尼指数，当数据集比较大，即当n比较大时，该过程需要相当长的时间，分类速度非常缓慢。因此，需要一种能够优化CART算法并有效提高其分类效率的方法。

发明内容

为了提高CART决策树算法的分类速度，使其在应用于故障诊断时能有效提高诊断效率，本发明采用二分法，只需要计算(log₂n+1)个基尼指数，大大减少了计算时间，且当n越大时效果越明显，能有效的提高分类效率。

本发明是通过以下技术方案实现的：

一种基于二分法的优化CART决策树生成方法，包括如下步骤：

预处理步骤：对数据进行预处理，输入二维数据集；

属性分裂步骤：对所述数据集中某一属性的数据进行分裂，分裂的属性选择度量为使用二分法优化的基尼指数；将满足条件的数据分裂给左子树，否则分裂给右子树；

决策树建树步骤：重复所述属性分裂步骤，直到最终分裂数据点的基尼指数小于预设的基尼指数阈值，停止分裂，形成决策树；

剪枝步骤：以极小化整体损失函数采用递归的方法进行剪枝，生成最终的决策树。

一种基于二分法的优化CART决策树生成装置，包括：

预处理单元：用于对数据进行预处理，输入二维数据集；

属性分裂单元：用于对所述数据集中某一属性的数据进行分裂，分裂的属性选择度量为使用二分法优化的基尼指数；将满足条件的数据分裂给左子树，否则分裂给右子树；

决策树建树单元：用于控制所述属性分裂单元重复进行分裂，直到最终分裂数据点的基尼指数小于预设的基尼指数阈值，停止分裂，形成决策树；

剪枝单元：用于以极小化整体损失函数采用递归的方法进行剪枝，生成最终的决策树。本发明具有以下有益效果：

1.本发明采用基尼指数，在作为分类树时可将连续数据离散化，既能处理标称数据又能处理连续数据。

2.使用二元分支，充分运用全部数据，尽可能发现全部的数据；

3.利用基尼指数选择分支特征，能处理空缺值和孤立点；

4.本发明使用二分法，只需计算([log₂n]+1)次基尼指数，与计算(n-1)次相比能降低计算量，加快分类速度进而提高分类效率。

附图说明