[发明专利]一种hadoop参数优化模型的构建方法

说明书

本发明涉及分布式处理技术领域，尤其涉及一种hadoop参数优化模型的构建方法，包含：利用服务器在一定时间内收集各数据源产生的数据量；分析单个所述数据源的特性，并根据其产生数据量的按比例赋予特征值，并利用服务器根据特征值预估待处理文件规模；服务器以一定时间为周期，收集各预备节点在常规运行状态下的资源存有量，并将其分组；服务器根据所述待处理文件规模，预估节点数量和处理时间；服务器依照服务器预估节点数量和处理时间，对hadoop的参数进行调整。通过分析数据源的特性，赋予特征值，根据特征值预估文件规模，将hadoop分布式节点进行分组，并依据文件规模和节点组对hadoop的参数进行调整，从而节约hadoop项目的资源。

技术领域

本发明涉及一种hadoop优化方法，尤其涉及一种hadoop参数优化模型的构建方法。

背景技术

随着信息产生的数据日益膨胀，hadoop作为处理和解决大文件的重要手段被广泛应用，在应用中，针对hadoop配置参数的调整对整体的运算效率和资源利用率有着至关重要的作用。中国专利公开号CN104317610A公开了“一种hadoop平台自动安装部署的方法及装置”，利用主机集群对hadoop的末端节点进行装载，并将必要参数调整为缺省参数。中国专利公开号CN103064664A公开了“一种基于性能预估的Hadoop参数自动优化方法和系统”，利用对hadoop项目的模拟运算调节hadoop的参数，使其能降低成本。中国专利公开号为CN104750780A公开了“一种基于统计分析的Hadoop配置参数优化方法”，利用对特征性较强的应用进行分类并建立预测模型，从而指导hadoop的参数优化。

由此可见，上述方法和系统存在以下问题：当项目的信息源处于多种状态时，难以判断项目的规模，对于hadoop的参数优化也难以达成节约资源的目的的问题。

发明内容

为此，本发明提供一种一种hadoop参数优化模型的构建方法。，用以克服现有技术中当项目的信息源处于多种状态时，难以判断项目的规模，对于hadoop的参数优化也难以达成节约资源的目的的问题。

为实现上述目的，本发明提供一种hadoop参数优化模型的构建方法，包含：

步骤S1，利用服务器在一定时间内收集各数据源产生的数据量并分析单格数据源在预设时间内产生数据的最大值和最小值；

步骤S2，根据经验分析单个所述数据源的特性并录入所述服务器，所述服务器根据各数据源产生的数据量的按比例赋予各数据源特征值，并根据特征值预估待处理文件规模；

步骤S3，所述服务器以一定时间为周期，收集各预备节点在常规运行状态下的资源存有量，并按照资源存有量的大小按时间将预备节点分组；

步骤S4，所述服务器根据所述待处理文件规模，预估节点数量和处理时间；

步骤S5，依照所述所述服务器预估的节点数量和处理时间，对hadoop的参数进行调整。

进一步地，所述数据源在预设周期内产生的数据量为D，D在预设时间T内呈规律性变化；

对于第i个所述数据源在将预设时间T均匀分为j个时间段中产生的数据量Dij，存在一个最大值maxDij和一个最小值minDij，设定i＝1,2,3,…，N，j＝1,2,3，…，m。

进一步地，所述数据源在预设时间T内产生的最大数据量记为maxDT，预设时间T内产生的最小数据量记为minDT，设定maxDT＝maxDij×n×m，minDT＝minDij×n×m；

将minDT作为标准文件规模，设定与minDT对应的hadoop标准参数A，并根据预备节点的运行状态以A为基准进行分组。