[发明专利]一种分布式数据副本的分级存储与调度方法

权利要求书

1.一种分布式数据副本的分级存储与调度方法，其特征在于，包括以下步骤：

数据副本的存储：

建立SSD-HDD的分层式存储结构，数据副本的存储策略采用三副本的形式；所述数据副本的存储策略具体为：热数据的副本全部存储在高性能存储服务器上；潜热数据的副本中有两个存储在高速存储服务器上，另一个存储在大容量存储服务器上；潜冷数据的副本中，一个存储在高速存储服务器上，其余两个存储在大容量存储服务器上；冷数据的副本全部存储在大容量存储服务器上；

以数据的基本元数据信息及其在业务周期内的访问情况为依据，采用自动评估的方式将海量数据划分为冷数据、潜冷数据、热数据以及潜热数据，并根据数据分类分别存储在不同服务器上；

构建一棵线段树，采用基于线段树的分配算法选择合适的存储节点存储数据；

数据副本的调度：

每间隔一定的时间，将节点的基本信息及运行状态封装成心跳包并返回给元数据服务器；

元数据服务器收到存储服务器节点发送的心跳包后，解析并记录每个节点的基本信息及运行状态；

元数据服务器将每个存储服务器节点的基本信息及运行状态数值化，用一个unsigned long类型记录存储服务器节点评估值，每次获取心跳包后，将其中信息进行组装；所述元数据服务器对同一个节点最多记录最近三次的心跳包信息，若连续三个时间段都未收到心跳包信息，则视为存储节点已掉线；

当数据属性变化时，按照每种属性的数据的存储规则，随机选择指定个数副本将其加入迁移队列中，同时从线段树中选择目的服务器区间的最大值为迁移的目的服务器节点；所述线段树用于记录大容量和高速存储服务器节点评估值，对于树节点上服务器评估值的更新，只有当服务器CPU负载、磁盘占用率或网络流量的更新幅度超过设定的阈值时，才进行更新；而对于树节点的更新，设置lazy_tag以延迟节点的更新，节点只在需要访问该节点时才进行更新。

2.根据权利要求1所述的一种分布式数据副本的分级存储与调度方法，其特征在于，所述心跳包中的信息包括CPU负载、内存占用率、磁盘使用率、IO队列、网络流量、存储节点类型。

3.根据权利要求1所述的一种分布式数据副本的分级存储与调度方法，其特征在于，所述节点评估值包括服务器类型、CPU负载、磁盘占用率、网络流量、IO队列、服务器容量、内存占用率。

4.根据权利要求1所述的一种分布式数据副本的分级存储与调度方法，其特征在于，所述节点评估值的数据采用位图进行记录，每8个bit记录一个数值。