[发明专利]动态均衡负载的分布式元数据管理方法

摘要

本发明涉及本发明动态均衡负载的分布式元数据管理方法，包括：a.确定相关负载参数的权重：确定相关负载参数之间的重要程度，得到判断矩阵，并对判断矩阵进行运算得到所述负载参数的最优解。b.对元数据进行划分：通过带有权重的一致性哈希函数计算并根据各元数据服务器的当前计算能力，求得元数据和各个元数据服务器在哈希环上的距离，将元数据存放于与其对应的距离最短的元数据服务器中。本发明的方法，能够在根据元数据服务器的当前状态将元数据均匀分布到元数据服务器集群中，并且当元数据服务器集群的负载发生动态变化的时候能够动态均衡负载，极大程度提高了元数据服务器集群的性能和存储质量。

主权项

1.动态均衡负载的分布式元数据管理方法，其特征包括：a.确定相关负载参数的权重：确定相关负载参数之间的重要程度，得到判断矩阵，并对判断矩阵进行运算得到所述负载参数的最优解；所述的相关负载参数包括元数据服务器的CPU负载、内存占用率、IO带宽占用率和磁盘剩余空间；b.对元数据进行划分：根据元数据服务器的性能异构差异对元数据进行初始划分，通过带有权重的一致性哈希函数计算元数据和元数据服务器在重合的哈希环上的距离，取与元数据距离最小的几个元数据服务器来存储目标元数据；c：动态均衡元数据服务器负载，包括步骤c1‑c7：c1.计算元数据服务器当前的资源利用率：定义元数据服务器mi的资源利用率αi(t)为：αi(t)＝r1*cpuUi(t)+r2*memUi(t)+r3*ioUi(t)+r4*diskUi(t)，其中，r1、r2、r3、r4分别是元数据服务器的CPU负载、内存占用率、IO带宽占用率和磁盘剩余空间4个相关参数所占的权重；cpuUi(t)，memUi(t)，ioUi(t)，diskUi(t)分别是元数据服务器当前的CPU利用率、内存利用率、IO带宽利用率、磁盘利用率；采用基于权重的移动平均值来计算修正后的元数据服务器的资源利用率：α'i(t)＝θ*ai(t)+(1‑θ)*ai'(t‑1)，其中修正系数0＜θ＜1；c2.计算元数据服务器当前处理请求的平均时间：元数据服务器mi在以t时刻为基准的最近一段时间内处理的元数据请求集合为Qi＝{q1,q2,…,qy}，其中y为请求个数；它们在系统内的平均处理时间β_i(t)为：其中w_j是元数据j在队列中的等待时间，s_j是元数据j在系统中的服务时间，q_j是元数据集合Q_i中的元数据j；c3.计算元数据服务器的当前负载：根据c1步骤计算的修正后的元数据服务器的资源利用率α'i(t)以及步骤c2计算的对原数据的平均处理时间βi(t)，元数据服务器的负载loadi(t)计算公式为：loadi(t)＝α'i(t)+βi(t)；c4.计算元数据服务器集群的平均负载：元数据服务器集群M＝{m₁,m₂,...,m_n}的平均负载load(t)通过公式计算，m_n为第n个元数据服务器；c5.计算元数据服务器集群当前负载的阈值高/低位：元数据服务器集群的负载阈值低位loadl(t)为：loadl(t)＝τ×load(t)，τ为缩小参数0＜τ＜1；元数据服务器集群的负载阈值高位loadh为：loadh(t)＝χ×load(t)，χ为放大参数，χ＞1；c6.对低负载元数据服务器上的全局热点元数据执行主动负载复制：如果loadi(t)＜loadl(t)，则说明元数据处于低负载的安全状态，如果低负载元数据服务器上存在着全局热点元数据，则将这些热点元数据复制到其它的低负载元数据服务器上来分担负载压力，使热点元数据分散于多个低负载的元数据服务器中；c7.对高负载元数据服务器上的局部热点元数据执行被动负载迁移：如果元数据服务器集群中某个元数据服务器mi的负载loadi(t)＞loadh(t)，则说明这个元数据服务器处于高负载状态，则将局部热点元数据迁移到其他的低负载服务器以降低高负载服务器的压力。