[发明专利]基于分箱置信度筛选深度森林的机器学习分类方法

说明书

本发明涉及基于分箱置信度筛选深度森林的机器学习分类方法，针对于现有技术中基于深度置信森林对数据分类效果不佳，精确度不高而提出。这是首次将分箱法应用到深度置信筛选森林的门阈值确定之中。首先确定级联森林的一层，之后依靠实例在这一层的预测类别向量计算置信度，然后按照置信度进行排序并将排好序的实例按照顺序放入箱中，最后根据需求的准确率确定需求的箱子，并且输出箱子中最后一个实例的置信度为此层置信度筛选的门阈值，提高了深度置信筛选森林对于实例分类的预测精度。

技术领域

本发明属于机器学习领域，涉及基于分箱置信度筛选深度森林的机器学习分类方法，具体涉及一种分箱置信度筛选深度森林算法对数据特征进行识别从而进行分类的方法。

背景技术

机器学习中的分类是根据数据中不同的特征，将数据进行区分开来，它利用计算机对数据进行分析和计算，把数据规划为若干个类别中的一种，以代替人为的判断。

深度森林是近几年提出的一种独立于深度神经网络之外的深度学习方法，它打破了目前神经网络对深度学习的垄断。它相对比于深度神经网络拥有更少的参数，并且更加容易训练，这使得深度森林拥有更多可研究性。

深度森林主要由两个模块：多粒度扫描，级联森林。多粒度扫描多用于处理图像或维度较高且特征之间存在关联的数据集，它的主要目的是特征的重新表示也就是转换特征，它通过使用多个尺度的滑动窗口对数据特征进行扫描，之后将扫描出来的特征作为新的特征输入完全随机森林或者随机森林最后将它们输出的特征作为转换特征。

级联森林：级联森林模块是深度森林的主要模块，级联森林由多层组成，每一层由一个或者多个随机森林和完全随机森林构成。每一层随机森林和完全随机森林的输出值会作为一个新的特征输入到下一层，这样构成了深度学习的模式。其中完全随机森林和随机森林是由n(参数可调)棵决策树构成的，完全随机森林的每棵决策树随机选择一个特征作为分裂点，分裂到每个叶子节点只有一个类别或者十个样本为止。随机森林的每棵决策树按照Gini系数进行选择特征进行分裂，之后分裂到每个叶子节点只有一个类别或者十个样本为止。

深度置信筛选森林是在深度森林的基础上进行改进，加入了置信度筛选的机制，在时间成本和内存需求上都远远小于深度置信森林。

置信度筛选：每一层完全随机森林或者随机森林对一个实例的预测类别向量中的最大值作为其实例的置信度，根据置信度将级联每层输入的实例划分为两个子集：一个容易预测，一个难以预测。如果一个实例很难预测那么它将经历下一层的预测，相反地，如果一个实例很容易预测，那么它的最终预测值将由当前层产生，所以只有当实例在层数i具有高置信度时才会进入下一层。实验表明，通过降低一个数量级的内存需求和更快的运行时间，深度置信筛选森林能够达到和深度森林相当甚至更好的预测精确度。

置信度筛选的关键是如何确定一个实例是否为容易预测的实例，这需要设定一个门阈值，当实例置信度大于门阈值时为高置信度实例，也就是容易预测的实例，相反地，当实例置信度小于门阈值时为低置信度，低置信度的实例需要经历下一层的训练。那么这个模型的关键就转移到如何设定门阈值，原算法模型门阈值的设定是将实例按照置信度的大小从大到小排列，排列完后设置一个目标准确率，这个目标准确率为想要此模型达到的准确率，最后设定一个指针，指针根据置信度的值由小向大依次遍历，计算当前指向的实例和大于此实例置信度的图像的准确率，若此准确率大于目标准确率，则将此置信度作为门阈值。

上文中的门阈值设定的方法难以避免错误数据堆积的情况，即错误的数据聚集在置信度排列的中下区域，鉴于此情况有必要设计一种改进方法解决上述问题。

发明内容