[发明专利]一种改进的GBDT算法

权利要求书

1.一种改进的GBDT算法，其特征在于：通过将GBDT中简单初始值设定更改为选定初始学习机(BP，RF等)，提高GBDT在不同类型的数据集上的学习能力。再在GBDT算法内部设计出一种学习率的组合策略，使样本得到充分学习。

2.根据权利要求1所述的一种改进的GBDT算法，其特征还在于，改进的GBDT通过构造一种评判标准在不同的数据集上选择学习机完成初始学习，该评判指标j_c的具体设定为：

设该数据集DS有n个输入变量X_i(i＝1...n)，输出变量为Y，分别求出X_i与Y的皮尔逊相关系数P_i，则评判指标j_c为：

则根据求出的评判指标j_c，如果j_c≥0.6，表明输入变量与输出变量之间为强相关关系，则选择BP作为学习机进行初始学习；否则，选择RF作为学习机进行初始学习。

3.根据权利要求1所述的一种改进的GBDT算法，其特征还在于，改进的GBDT通过构造变量Δ来判断样本学习的好坏并确定每个样本的学习率，并设计相应的组合策略。具体步骤为：

第一步，通过选定的初始学习机对样本x进行初始学习，则有：

式中，y₀为样本x的真实值，为样本x的初始预测值。

第二步，设当前第t轮样本x的预测值为真实值为y_t，则变量Δ的构造为：

式中，RMSE_t为第t轮样本的均方根误差，MAE_t为第t轮样本的平均绝对误差。

第三步，通过当前样本的绝对误差与构造的Δ_t进行比较判断样本学习的好坏。即如果：则该样本为学习好的样本，反之，则为学习不好的样本。

第四步，根据第三步中判断样本好坏的结果，给样本选定学习率C。具体的设定为：

如果该样本为学习好的样本，则该样本选定的学习率为：

C→c₁

如果该样本为学习好的样本，则该样本选定的学习率为：

C→c₂

对于学习率的具体设定和组合策略，通过交叉验证法(从0到1间隔0.01)确定c₁，而学习样本不好的学习率c₂设定为：c₂＝1.5c₁。这样可以使样本进行充分的学习，而不是所有样本都采用相同的学习率。