[发明专利]一种面向Geo-distributed云存储的数据副本放置方法

说明书

本发明涉及一种面向Geo‑distributed云存储的数据副本放置方法，针对现有技术的不足，对其进行改进，在Geo‑distributed环境下云存储中数据中心分布在不同物理位置上，主要考虑各个数据中心之间的数据迁移代价，根据历史统计预测本周期内的数据副本的访问热度，进而计算出数据副本的系数，在放置数据副本时，综合考虑数据副本在各个数据中心的访问热度和各个数据中心本身的物理能力值，这样既可以最大化保证数据本地化，减少数据中心之间的数据块迁移，又保证系统性能提高任务执行效率。

技术领域

本发明涉及一种面向Geo-distributed云存储的数据副本放置方法，属于 Geo-distributed环境下云存储技术领域。

背景技术

随着数据以爆炸方式的增长，人们对云计算越来越关注，作为云计算的基础，云存储成为一个研究的热点方向。大数据的处理对数据中心提出了更高的要求，面对这种情况，Geo-distributed云存储系统是一个非常好的解决方法，在Geo-distributed云存储中一个关键挑战是如何有效的保证系统性能，满足用户需求。在Geo-distributed云存储系统中，多个数据中心子集集群之间的通信代价比单个数据子集集群中数据节点的通信代价要大很多，在数据中心子集集群之间大量的数据传输会大大增加系统任务的执行时间。

发明内容

本发明所要解决的技术问题是提供一种面向Geo-distributed云存储的数据副本放置方法，采用全新数据副本放置方法，保证数据的本地化，减少数据中心子集集群之间的网络负载。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种面向 Geo-distributed云存储的数据副本放置方法，包括如下步骤：

步骤A.分别获取各个数据中心的存储能力值，以及获取所有数据中心，两两之间的物理距离和网络传输带宽，然后进入步骤B；

步骤B.分别针对各个数据中心内的各个数据块，根据数据块的历史访问次数，获得该数据块本周期的预测访问次数，即分别获得各个数据中心内各个数据块本周期的预测访问次数，然后进入步骤C；

步骤C.根据各个数据中心内各个数据块本周期的预测访问次数，分别获得各个数据块本周期的预测热度，并根据热度值由大至小顺序，针对所有数据块进行排序，按排序将所有数据块划分至P_hot集合、P_warm集合、P_cold集合，且P_hot集合、P_warm集合、P_cold集合分别对应不同的副本系数，然后进入步骤D；

步骤D.根据本周期预测热度由大至小的排序，针对各个数据块排序，并初始化n＝1，然后进入步骤E；

步骤E.以第n个数据块所在集合对应的副本系数，作为第n个数据块所对应数据副本的个数k_n，并相应生成k_n个数据副本，然后进入步骤F；

步骤F.针对按存储能力值由大至小顺序排序的各个数据中心，顺序选择2k_n个数据中心，作为各个待放置数据中心，并获得各个待放置数据中心分别与第n个数据块所在数据中心之间、对应第n个数据的数据块副本通信代价，然后根据数据块副本通信代价由小至大的顺序，顺序选择k_n个数据中心，作为第n个数据块所对应的各个副本放置数据中心，并进入步骤G；

步骤G.将第n个数据块所对应的k_n个数据副本，分别放置于第n个数据块所对应的各个副本放置数据中心，然后分别更新获取各个数据中心的存储能力值，并进入步骤H；

步骤H.判断n是否等于N，是则完成数据副本的放置；否则针对n的值进行加1更新，并返回步骤E；其中，N表示所有数据中心内所有数据块的总数。