[发明专利]一种hadoop参数优化模型的构建方法

权利要求书

1.一种hadoop参数优化模型的构建方法，其特征在于，包含：

步骤S1，利用服务器在一定时间内收集各数据源产生的数据量并分析单格数据源在预设时间内产生数据的最大值和最小值；

步骤S2，根据经验分析单个所述数据源的特性并录入所述服务器，所述服务器根据各数据源产生的数据量的按比例赋予各数据源特征值，并根据特征值预估待处理文件规模；

步骤S3，所述服务器以一定时间为周期，收集各预备节点在常规运行状态下各时段的资源存有量，并按照资源存有量的大小按时间将预备节点分组；

步骤S4，所述服务器根据所述待处理文件规模，预估节点数量和处理时间；

步骤S5，依照所述所述服务器预估的节点数量和处理时间，对hadoop的参数进行调整。

2.根据权利要求1所述的hadoop参数优化模型的构建方法，其特征在于，所述数据源在预设周期内产生的数据量为D，D在预设时间T内呈规律性变化；

对于第i个所述数据源在将预设时间T均匀分为j个时间段中产生的数据量Dij，存在一个最大值maxDij和一个最小值minDij，设定i＝1,2,3,…，N，j＝1,2,3，…，m。

3.根据权利要求2所述的hadoop参数优化模型的构建方法，其特征在于，所述数据源在预设时间T内产生的最大数据量记为maxDT，预设时间T内产生的最小数据量记为minDT，设定maxDT＝maxDij×n×m，minDT＝minDij×n×m；

将minDT作为标准文件规模，设定与minDT对应的hadoop标准参数A，并根据预备节点的运行状态以A为基准进行分组。

4.根据权利要求3所述的hadoop参数优化模型的构建方法，其特征在于，对于单个所述预备节点，该预备节点的资源存有量R在预设时间T内存在一个最高值maxR，设定一个第一预设资源存有量R1，一个第二预设资源存有量R2，其中R1＝0.3maxR，R2＝0.7maxR，

若R＜R1，所述服务器判定该所述预备节点资源存有量不足，并将该节点在该情况下的时段记为不可用时段；

若R1≤R＜R2，所述服务器判定该所述预备节点资源存有量较低，并将该节点在该情况下的时段记为低效时段；

若R≥R2，所述服务器判定该所述预备节点资源存有量较高，并将该节点在该情况下的时段记为高效时段。

5.根据权利要求4所述的hadoop参数优化模型的构建方法，其特征在于，对于第k个所述预备节点，在第j个所述时间段内的状态P_kj赋值，其中k＝1,2,3，…，n，

若所述时段被记为不可用时段，将P_kj赋值为0，

若所述时段被记为低效时段，将P_kj赋值为1，

若所述时段被记为高效时段，将P_kj赋值为2，

利用所述标准参数A，以符合A的最优节点数量NA将所述预备节点进行分组，使该组节点在P_kj的状态下最优执行时间tA后完成数据量为minDT的项目。

6.根据权利要求5所述的hadoop参数优化模型的构建方法，其特征在于，对于第k个所述预备节点，

当j+t≤T时，

若P_kj＝P_kj+1＝…＝P_kj+t≥1，所述服务器将该节点作为(j，j+t)时段的稳定节点记录，并将其纳入分组；

若P_kj＝P_kj+1＝…＝P_kj+t＝0，所述服务器将该节点作为(j，j+t)时段的不可用节点；

当j+t＞T时，所述服务器判定该节点不可用。