[发明专利]一种集成长短记忆循环神经网络与梯度提升决策树的方法

说明书

本发明提供一种集成长短记忆循环神经网络与梯度提升决策树的方法，该方法将多个决策树森林产生的特征作为网络的输入，可以将决策树深林的那一部分看成是新的网络层，即森林层，森林层在网络中起的作用类似于卷积神经网络里的卷积层，它能够提取非图像类数据的特征。由于LSTM的输入是跟时间序列相关的，因此森林层的决策树森林的个数等于时间序列的时刻数。新模型相比只有LSTM的模型能更好地抽取一般的非图像类序列化数据的特征，而且相比只有GBDT的模型能够保持前后特征的时间性依赖，从而形成与高层的抽象特征之间的映射。

技术领域

本发明涉及深度学习领域，更具体地，涉及一种集成长短记忆循环神经网络与梯度提升决策树的方法。

背景技术

早期，计算机处理繁琐但能用规则或者数据公式解决的问题。如今，智能化软件能自动完成日常劳动，并能开始了解语音和图像，参与到疾病诊断和基础科学研究中。 人们对软件服务的要求越来越高，而相应的处理模型也越来越复杂，从早期的基于规则的模型，再到人工设计特征的简单的机器学习模型，再到现在自动生成抽象特征的复杂深度学习模型。

机器学习算法的研究发展从最初基于人工设计规则到设计特征然后通过模型映射得到输出结果，再到现在的预处理生成特征或者深度学习生成抽象、高层语义的特征，最后由模型映射得到输出，所做工作都是在特征上处理。

近些年用决策树和深度学习方法自动提取特征逐渐成为主流。尤其是深度学习在学术界和工业界得到广泛的关注。深度学习模型擅长从底层语义逐渐形成高层的抽象特征，它在图像、视频、语音、自然语言等具有时间或者空间结构的数据上取得了非常好的效果。

长短记忆循环神经网络（LSTM）是深度神经网络的一个重要分支，它在自然语言、语音等具有时间结构的数据上取得了很好的效果。但是，在许多机器学习任务中，模型的输入是一个由人工构造的特征组成的向量，该向量并没有像图像、视频、语音、自然语言等数据所具有的时间或空间结构。在这些类型的数据上，传统的树集成方法往往比深度学习方法有更好效果。

发明内容

本发明提供一种集成长短记忆循环神经网络（LSTM）与梯度提升决策树（GBDT）的方法，该方法能更好的抽取一般的非图像类序列化数据特征。

为了达到上述技术效果，本发明的技术方案如下：

一种集成长短记忆循环神经网络与梯度提升决策树的方法，包括一下步骤：

S1：输入训练数据集每一时刻的特征到森林层；

其中，长短记忆循环神经网络（LSTM）在自然语言、图像等数据方面已经取得非常好的成绩。一方面是能很好解决了特征之间长短依赖的问题，能有效避免梯度消失和爆炸。另一方面是这一类数据，目前已经有很成熟的特征提取方式或者能够直接输入模型，不需要做更多的预处理。这一类数据一般是低级特征而且是同一类型，不用再做归一化处理。而在更多的实际问题中，一般数据会更加复杂，需要更多人工操作处理；

S2：用森林层里的梯度提升决策树产生固定维度的特征作为长短记忆循环神经网络的输入；

具体的，每一个森林相当于原先LSTM的一个输入神经元，由每个森林计算得到的值相当于原先LSTM输入神经元的值，也就是神经网络的输入值；

S3：长短记忆循环神经网络进行一次前向传播并得到误差；

具体的，正向传播时，输入样本从输入层进入网络，在各层隐层与神经元的权重和偏置进行计算，经隐层逐层传递至输出层，如果输出层的实际输出与期望输出不同，则会产生误差，用于下一步知道网络的参数更新；

S4：长短记忆循环神经网络进行一次反向传播得到森林层的误差梯度；