[发明专利]一种海量大数据分布式预测方法及系统

摘要

本发明公开一种海量大数据分布式预测方法及系统。该方法包括：获取输入数据；利用Hadoop分布式文件系统存储所述输入数据；将每个数据集分解为多个文件，每个文件包括多个样本；依次对每个文件的样本进行处理，每一个样本对应输出键值对Num，Data；确定单决策树的最佳训练样本规模；根据所述最佳训练样本规模对所有样本并行地进行训练，得到规则集集合；所述规则集集合包括多个规则集，每个规则集包括多个单决策树对应的规则；根据所述规则集集合确定多决策树预测器；利用所述多决策树预测器对待预测数据进行预测。采用本发明的预测方法及系统，在保证预测准确率的情况下，缩短了分类预测器的计算时间，提高了分类预测器的执行效率。

主权项

一种海量大数据分布式预测方法，其特征在于，所述方法包括：获取输入数据，一个数据为一个样本；利用Hadoop分布式文件系统存储所述输入数据；所述Hadoop分布式文件系统将所述输入数据划分为多个64M大小的数据集进行存储；将每个数据集分解为多个文件，每个文件包括多个所述样本；依次对每个文件的样本进行处理，每一个样本对应输出键值对<Num，Data>，其中Num表示所述样本对应的编号，Data表示所述样本的数据；确定单决策树的最佳训练样本规模；根据所述最佳训练样本规模对所有样本并行地进行训练，得到规则集集合；所述规则集集合包括多个规则集，每个规则集包括多个单决策树对应的规则；根据所述规则集集合确定多决策树预测器；利用所述多决策树预测器对待预测数据进行预测。