[发明专利]一种利用宽度神经网络改进的随机森林集成方法

说明书

本发明公开了一种利用宽度神经网络改进的随机森林集成方法，适用于机器学习领域。主要包括模型设计和模型训练两部分，模型设计部分主要包括特征映射层和增强层的设计、输出权重的设计两部分，通过设计随机森林和完全随机森林组成的神经网络节点，以自适应调节模型的宽度，通过节点的平均准确率得到本地权重计算输出权重，最后求解最终输出向量。其自动化程度高，通过训练自适应决定模型大小，理论分析容易、可解释性以及并行化能力强。

技术领域

本发明涉及一种随机森林集成方法，尤其适用于集机器集成学习领域使用的一种利用宽度神经网络改进的随机森林集成方法。

背景技术

机器学习是当下最热门的研究领域之一，近年来，随着数据量的不断增长，机器学习的效率和准确率问题备受关注。集成学习一直被视为提升模型的准确率的有效方法，该方法在监督学习以及无监督学习下都得到广泛应用。

近期周志华(Zhi-Hua Zhou)等人提出一种基于随机森林之上的集成学习方法——深度森林(gcForest)。深度森林是一种卷积神经网络之外的深度模型，相对深度卷积神经网络在同样具备表示学习能力的同时具备以下优点：模型超参数少，训练简单；模型计算量小，可基于PC进行模型训练；模型可扩展，相对卷积神经网络更加易于并行化。深度森林(gcForest)提出了全新的集成学习思路，在准确率方面取得不错的效果。但深度森林在多层级联结构下，深度森林的并行化会受到很大限制；另外深度森林在输出层通过求解每个输出向量的平均值得到最终输出向量，缺乏一定合理性。

发明内容

针对上述技术问题的不足之处，提供一种自动化程度高，通过训练自适应决定模型大小，理论分析容易、可解释性以及并行化能力强的利用宽度神经网络改进的随机森林集成方法。

为解决上述技术问题，本发明提出一种基于特征映射层以及增强层结构的随机森林集成方法，它包括模型设计和模型训练两部分；

其中模型设计部分主要包括特征映射层和增强层的设计、输出权重的设计两部分，通过设计随机森林和完全随机森林组成的神经网络节点，以自适应调节模型的宽度，通过节点的平均准确率得到本地权重，根据本地权重计算输出权重，最后求解最终输出向量；

模型训练部分步骤为，首先将每个原始输入数据处理得到输入特征向量，其中对于具有空间联系的原始数据使用多粒度扫描进行处理得到输入特征向量，将各个特征间不存在空间关系的一维输入数据作为输入特征向量，将处理得到的一维输入特征向量作为一个样本生成包含n个节点的特征映射层，求解每个特征映射层节点的本地权重，将本地权重低于一维输入数据节点重新生成随机森林，k为类别数量，；然后将每个样本经过特征映射层得到的输出同原始特征向量合并作为一个样本生成包含m个节点的增强层，求解每个增强层节点的本地权重，将本地权重低于1/k的节点重新生成随机森林，通过本地权重求解每个节点的输出权重；通过上述步骤增加增强层节点，更新输出权重；在上述前向运算训练过程中引入的淘汰制和输出权重快速更新方法，使得模型可以快速训练。

2.根据权利要求1所述基于特征映射层以及增强层结构的随机森林集成方法，其特征在于特征映射层和增强层的设计,特征映射层和增强层均由多个神经网络节点组成，每个神经网络节点包括一个完全随机森林和一个随机森林，其中特征映射层由n个节点组成，节点输出结果为两个随机森林输出结果的平均值；