[发明专利]一种海量大数据分布式预测方法及系统

说明书

本发明公开一种海量大数据分布式预测方法及系统。该方法包括：获取输入数据；利用Hadoop分布式文件系统存储所述输入数据；将每个数据集分解为多个文件，每个文件包括多个样本；依次对每个文件的样本进行处理，每一个样本对应输出键值对Num，Data；确定单决策树的最佳训练样本规模；根据所述最佳训练样本规模对所有样本并行地进行训练，得到规则集集合；所述规则集集合包括多个规则集，每个规则集包括多个单决策树对应的规则；根据所述规则集集合确定多决策树预测器；利用所述多决策树预测器对待预测数据进行预测。采用本发明的预测方法及系统，在保证预测准确率的情况下，缩短了分类预测器的计算时间，提高了分类预测器的执行效率。

技术领域

本发明涉及海量大数据分析领域，特别是涉及一种海量大数据分布式预测方法及系统。

背景技术

随着互联网时代的到来，网络技术和信息技术水平飞速提升，各行业数据呈现快速增长趋势，现代社会进入信息时代和“大数据”时代，国际数据公司的报告指出，到2020年，全世界产生的数据将达到35.2ZB。

数据的爆炸式增长，使得传统数据分析和处理手段承受巨大冲击，采用传统方法进行数据分析已经远远不能达到日渐增长的数据需求。例如，在医疗领域，医院数据库中存储着大量病人的体检信息，医生需要从中发现和分析某些病因和症状，并据此对病人病情做出诊断。在经济领域中，股票交易每时每刻都在发生，影响着行情变化，分析员需要通过对大量的历史交易信息进行分析以预测股票的未来走势和发展规律。在地质灾害监测中，大量数据随时都在通过传感器、卫星等通信设备传送至有关部门的信息中心，信息中心的相关人员需要对这些数据分析和处理，判断灾害是否发生，得出诱导灾害发生的原因。在互联网中，商家需要在海量信息面前快速发现用户感兴趣的内容，以迅速找到商机。因此，如何从海量大数据中快速对潜在的隐患进行预测和超前预警，是各相关领域近年的研究热点之一。

分类模型技术作为数据挖掘中常用的具有实际应用价值的技术之一，可用于快速挖掘海量大数据中的潜在有用信息。分类方法是通过构造一个分类器模型，将含有不同属性值的数据对应的预测划分为某些具体的类别，因此分类模型可以作为分类预测器使用，以对测试样本进行类别预测。决策树作为一种有效的分类器，是各行业广泛采用的预测模型。但面对海量大数据，由于传统算法的执行时间与样本大小有关，当样本规模增长时，算法执行时间也随之增长，准确率提高达到瓶颈。

发明内容

本发明的目的是提供一种海量大数据分布式预测方法及系统，以降低预测的执行时间，提高准确率。

为实现上述目的，本发明提供了如下方案：

一种海量大数据分布式预测方法，所述方法包括：

获取输入数据，一个数据为一个样本；

利用Hadoop分布式文件系统存储所述输入数据；所述Hadoop分布式文件系统将所述输入数据划分为多个64M大小的数据集进行存储；

将每个数据集分解为多个文件，每个文件包括多个所述样本；

依次对每个文件的样本进行处理，每一个样本对应输出键值对Num，Data，其中Num表示所述样本对应的编号，Data表示所述样本的数据；

确定单决策树的最佳训练样本规模；

根据所述最佳训练样本规模对所有样本并行地进行训练，得到规则集集合；所述规则集集合包括多个规则集，每个规则集包括多个单决策树对应的规则；

根据所述规则集集合确定多决策树预测器；

利用所述多决策树预测器对待预测数据进行预测。

可选的，所述将每个数据集分解为多个文件之前，还包括：

删除所述数据集中重复和格式不正确的数据，得到清洗后的数据集。