[发明专利]基于异构Hadoop集群环境下的数据块副本放置方法

权利要求书

1.基于异构Hadoop集群环境下的数据块副本放置方法，Hadoop集群中包括M个节点，该方法用于将数据块的新增副本放置到节点上，其特征在于，包括以下步骤：

步骤1，在第n个时间周期Tn内，n为大于0的整数，对多个数据块采用基于灰度预测模型的预测方法进行热度预测，得到在该时间周期Tn内每个数据块的总访问率；

步骤2，识别第n个时间周期Tn内的需要新增副本的数据块；

步骤3，计算需要新增副本的每个数据块的新增副本数，并将该数据块复制多次，数据块的复制次数与新增副本数相同，得到多个新增副本；

步骤4，计算Hadoop集群中每个节点的性能分数，按照性能分数由高到低对节点进行排序，得到节点序列[B₁，B₂，…B_m，…B_M]，其中，B_m表示节点序列中的第m个节点，M表示节点总数；

步骤5，将步骤2中需要新增副本的数据块按照总访问率由高到低进行排序，得到数据块序列[A₁，A₂，…A_i，…A_I]，其中，A_i表示数据块序列中的第i个数据块，I表示具有新增副本的数据块的总数；

步骤6，由前到后逐一选取数据块序列中的数据块，将选取到的数据块的所有新增副本放置到节点序列的RN个节点上；具体采用的方法如下：

记数据块A_i-1的最后一个新增副本放置在节点B_m上，则数据块A_i的第一个新增副本放置到节点B_m+p,(1≤p≤M-m)上，节点B_m+p上未放置属于数据块A_i的任一原始副本；

数据块A_i的下一个新增副本放置到节点B_m+q,(pq≤M-p)上，节点B_m+q上未放置属于数据块A_i的任一原始副本；直至数据块A_i的所有新增副本均放置到相应节点上。

2.如权利要求1所述的基于异构Hadoop集群环境下的数据块副本放置方法，其特征在于，所述步骤2中的识别第n个时间周期Tn内的需要新增副本的数据块；采用的方法如下：

对于第i个数据块，若第n个时间周期Tn内第i个数据块的平均访问率AP_i^Tn≥第n个时间周期Tn内集群的平均访问率AP^Tn,则该第i个数据块需要新增副本，否则，该第i个数据块不需要新增副本；

其中，第n个时间周期Tn内第i个数据块的平均访问率AP_i^Tn，采用如下公式计算：

上式中，表示第n个时间周期Tn内第i个数据块的热度，表示第j个时间周期Tj内第i个数据块的总访问率；

所述第n个时间周期Tn内第i个数据块的热度也可采用如下公式计算：

其中，表示第n个时间周期Tn内第i个数据块的总访问率,表示第n-1个时间周期T(n-1)内第i个数据块的热度。

3.如权利要求2所述的基于异构Hadoop集群环境下的数据块副本放置方法，其特征在于，所述步骤3中的新增副本数的计算方法如下：

第i个数据块的新增副本数用RN_i表示，采用如下公式计算：

其中，为第n个时间周期Tn内第i个数据块的平均访问率，AP^Tn为第n个时间周期Tn内Hadoop集群的平均访问率。