[发明专利]一种海量大数据分布式预测方法及系统

权利要求书

1.一种海量大数据分布式预测方法，其特征在于，所述方法包括：

获取输入数据，一个数据为一个样本；

利用Hadoop分布式文件系统存储所述输入数据；所述Hadoop分布式文件系统将所述输入数据划分为多个64M大小的数据集进行存储；

将每个数据集分解为多个文件，每个文件包括多个所述样本；

依次对每个文件的样本进行处理，每一个样本对应输出键值对Num，Data，其中Num表示所述样本对应的编号，Data表示所述样本的数据；

确定单决策树的最佳训练样本规模；具体包括：随机抽取样本集合中n％的样本数据作为所述单决策树的第一训练样本，进行单决策树训练，得到第一单决策树预测器；编号相同的样本同属于一个样本集合；从所述样本集合中剩余1-n％的样本数据中随机抽取n％作为第一测试样本，对所述第一单决策树预测器进行测试，获得第一测试样本的预测分类结果及预测准确率；随机抽取所述样本集合中2n％的样本数据作为所述单决策树的第二训练样本，进行单决策树训练，得到第二单决策树预测器；从所述样本集合中剩余的1-2n％的样本数据中随机抽取2n％作为第二测试样本，对所述第二单决策树预测器进行测试，获得第二测试样本的预测分类结果及预测准确率；获得所述第二测试样本的预测准确率与第一测试样本的预测准确率之间的差值；判断所述差值是否小于设定阈值，得到第一判断结果；当所述第一判断结果表示所述差值小于设定阈值时，将2n％确定为所述单决策树的最佳训练样本规模；当所述第一判断结果表示所述差值不小于设定阈值时，随机抽取所述样本中3n％的样本数据作为所述单决策树的第三训练样本，进行单决策树训练；

根据所述最佳训练样本规模对所有样本并行地进行训练，得到规则集集合；所述规则集集合包括多个规则集，每个规则集包括多个单决策树对应的规则；

根据所述规则集集合确定多决策树预测器；

利用所述多决策树预测器对待预测数据进行预测。

2.根据权利要求1所述的方法，其特征在于，所述将每个数据集分解为多个文件之前，还包括：

删除所述数据集中重复和格式不正确的数据，得到清洗后的数据集。

3.根据权利要求1所述的方法，其特征在于，所述依次对每个文件的样本进行处理，每一个样本对应输出键值对Num，Data，具体包括：

利用公式Num＝(int)id/S′获得样本对应的编号，其中id为所述输入数据中样本的序号，S′为硬件系统相关的常数；

输出所述样本对应的键值对Num，Data。

4.根据权利要求1所述的方法，其特征在于，所述确定单决策树的最佳训练样本规模时，采用分类回归决策树建立单决策树，同时将奖惩机制融入最佳属性选择过程，最终的属性选择措施为基尼指标乘以奖惩系数。

5.根据权利要求1所述的方法，其特征在于，所述根据所述最佳训练样本规模对所有样本并行地进行训练，得到规则集集合，具体包括：

根据所述最佳训练样本规模利用b个线程并行地对一个样本集合进行训练，获得b个单决策树对应的规则集；编号相同的样本同属于一个样本集合；

所有样本集合并行地进行训练，得到规则集集合。

6.根据权利要求1所述的方法，其特征在于，所述依次对每个文件的样本进行处理，每一个样本对应输出键值对Num，Data之后，还包括：

对所有的键值对进行混合、排序。