[发明专利]基于异构Hadoop集群环境下的数据块副本放置方法有效
| 申请号： | 201810175672.4 | 申请日： | 2018-03-02 |
| 公开（公告）号： | CN108519856B | 公开（公告）日： | 2020-10-27 |
| 发明（设计）人： | 吴奇石;刘洋;张晓阳;侯爱琴;王永强 | 申请（专利权）人： | 西北大学 |
| 主分类号： | G06F3/06 | 分类号： | G06F3/06 |
| 代理公司： | 西安恒泰知识产权代理事务所 61216 | 代理人： | 李婷;周春霞 |
| 地址： | 710069 *** | 国省代码： | 陕西;61 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种基于异构Hadoop集群环境下的数据块副本放置方法，该方法对异构集群下的节点根据其性能参数进行分类，把得到的数据块热度预测结果，根据副本个数，依次放到各个节点上。本发明结合了多个因素来决定哪个数据块该放到哪个节点上，这样既提高了MapReduce性能，也减少了执行时间。 | ||
| 搜索关键词： | 基于 hadoop 集群 环境 数据 副本 放置 方法 | ||
【主权项】：
1.基于异构Hadoop集群环境下的数据块副本放置方法，Hadoop集群中包括M个节点，该方法用于将数据块的新增副本放置到节点上，其特征在于，包括以下步骤：步骤1，在第n个时间周期Tn内，n为大于0的整数，对多个数据块采用基于灰度预测模型的预测方法进行热度预测，得到在该时间周期Tn内每个数据块的总访问率；步骤2，识别第n个时间周期Tn内的需要新增副本的数据块；步骤3，计算需要新增副本的每个数据块的新增副本数，并将该数据块复制多次，数据块的复制次数与新增副本数相同，得到多个新增副本；步骤4，计算Hadoop集群中每个节点的性能分数，按照性能分数由高到低对节点进行排序，得到节点序列[B1，B2，…Bm，…BM]，其中，Bm表示节点序列中的第m个节点，M表示节点总数；步骤5，将步骤2中需要新增副本的数据块按照总访问率由高到低进行排序，得到数据块序列[A1，A2，…Ai，…AI]，其中，Ai表示数据块序列中的第i个数据块，I表示具有新增副本的数据块的总数；步骤6，由前到后逐一选取数据块序列中的数据块，将选取到的数据块的所有新增副本放置到节点序列的RN个节点上；具体采用的方法如下：记数据块Ai‑1的最后一个新增副本放置在节点Bm上，则数据块Ai的第一个新增副本放置到节点Bm+p,(1≤p≤M‑m)上，节点Bm+p上未放置属于数据块Ai的任一原始副本；数据块Ai的下一个新增副本放置到节点Bm+q,(p
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于西北大学，未经西北大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810175672.4/，转载请声明来源钻瓜专利网。
