[发明专利]基于文件热度和节点负载的副本数量动态调整方法

说明书

技术领域

本发明涉及计算机云存储技术领域，特别涉及一种基于文件热度和节点负载的副本数量动态调整方法。

背景技术

云存储系统一般都釆用分布式文件系统来对数据进行存储和管理。副本技术是一种传统的数据管理技术，为了避免数据的丢失，提高数据的安全性与可用性，云存储系统大多会采用创建副本的策略来提高系统的可靠性与性能。

总体来讲，关于云存储系统的副本创建技术主要有静态副本创建和动态副本创建两大类。静态副本创建方法中副本的数量和放置位置是事先确定的，即在系统中创建文件之前，就首先确定了要创建的副本的数量和放置位置，在副本创建后，不会再对副本的数量进行调整和改变。动态副本创建方法是目前研究的热点，也是研究的难点。动态副本创建方法是指文件副本的个数和存储位置不是固定不变的，而是根据系统实际运行状态和用户需求不断的进行调整变化。相较于静态创建方法，动态副本创建更适用于当前复杂的网络环境，能够根据当前情况适时做出调整，节约了磁盘存储空间，具有更强的适应性。在系统使用过程中，需要根据使用情况，对副本的分布进行动态的调整。具体地说，就是需要根据用户使用及系统副本的使用状态，对副本进行重新的创建、迁移和删除的操作。

虽然相关学者在副本创建和调整方面做了很多的研究，但是，这些方法在实际的混合云环境中并不十分适用。首先，在计算文件热度方面，只是简单统计一段时间内访问次数，即使考虑到利用多频率来预测文件下一周期的访问特性，也很难兼顾文件热度和节点的负载均衡，而在混合云环境中，节点数量庞大，各个节点的性能有明显的差异。当有较多的热门数据聚集在某些性能较差的存储节点时，就会引起热点问题，降低系统的整体性能。

发明内容

本发明的目的是针对现有技术的不足，提出一种基于文件热度和节点负载的副本数量动态调整方法，对文件未来的热度和节点负载有一定的预测作用，能够动态的适应环境的变化。

为实现上述目的，本发明所设计的基于文件热度和节点负载的副本数量动态调整方法，其特殊之处在于，所述方法包括如下步骤：

1)统计集群节点的文件放入集合F中，为集合F中的每个文件F_i根据文件可靠性设置可靠性参数，对文件的副本数量进行初始化；

2)统计文件F_i访问次数，计算其文件热度hot_i；

3)计算所有文件平均访问热度h_avg，将集合F中的文件分为热点文件、普通文件和冷门文件；

4)计算节点的平均负载L_avg，将节点划分为重负载节点、负载适中节点和轻负载节点；

5)遍历集合中F的文件，根据文件热度和节点负载计算出理论文件副本数M_i，动态调整文件的副本数rm_i，调整规则为：

a.当文件属于冷门文件且文件所在节点平均负载为轻负载，rm_i＞M_i时，删除rm_i-M_i个副本；rm_i≤M_i时，默认当前副本数rm_i；

b.当文件属于热点文件且所在节点平均负载属于重负载，rm_i<M_i时，增加M_i-rm_i个副本；rm_i≥M_i时，默认当前副本数rm_i；

c.其他情况默认副本数rm_i。

优选地，所述步骤2)中每个文件热度hot_i的计算方法为：