[发明专利]一致性动态均衡的分布式元数据节点架构

说明书

技术领域

本发明属于云存储领域，具体涉及一致性动态均衡的分布式元数据节点架构。 

背景技术

云存储是实现云计算服务能力的不可或缺的关键要素。云存储技术的发展，是因为传统的盘阵存储由于高成本和系统的高负载性，已经难以适应云计算服务对存储的需求。传统盘阵虽然利用专有的、定制设计的硬件组件和互连接口设计集成在一起，保障了的存储的性能和可靠性，但是其单点扩展存在容量上限和接口带宽等限制，面对PB级的海量存储需求，无论是SAN或NAS在容量和性能的扩展上均无法满足应用的需要；且盘阵造价昂贵，标准化程度较低，组件的更换常常导致系统故障或者硬件的升级，从而导致存储成本居高不下。 

由此，为实现存储的低成本、高可扩展与资源池化，云存储技术应运而生，这其中最关键的是存储虚拟化技术与分布式存储技术的应用。从短期来看，存储化技术可以充分提升现有存储资源的应用水平，实现资源池化，提升设备使用率，降低管理成本。从长远发展来看，分布式存储技术则是未来云存储的发展趋势。 

分布式系统中的传统方案是虚拟磁盘的元数据信息存放在各元数据节点中，当元数据节点出现故障退出或者新元数据节点加入系统时，系统需要根据新的元数据节点组网情况，重新分配元数据信息。对于分布式系统，经常会有节点加入或者退出 导致系统内大部分数据需要重新调整、传输和同步，降低系统稳定性和可能性，效率也非常低下。  

发明内容

针对上述现有技术的不足，本发明提供一致性动态均衡的分布式元数据节点架构，解决了分布式存储技术系统内大部分数据需要重新调整、传输和同步，降低系统稳定性和可能性，效率也非常低下。 

为了实现上述目的，本发明采用的技术方案如下： 

 一致性动态均衡的分布式元数据节点架构，包括如下步骤：

（a）创建哈希表，建立哈希函数；

（b）每个元数据节点被分配给哈希表的一个散列块，并成为这个散列块的管理者；

（c）创建虚拟磁盘，每个虚拟磁盘拥有一个唯一标识，对每个唯一标识进行哈希，得到对应的key；

（d）每个元数据节点得到节点标示符D；

（e）根据key和D的唯一的关联关系，将虚拟磁盘映射到相应的元数据节点，并由元数据节点管理储存映射到其内的虚拟磁盘信息。

具体地，当元数据节点发生故障时，则还包括如下步骤： 

（s1）重新整理哈希表分段，故障元数据节点的散列块段和对应的虚拟磁盘信息由位于其前后的元数据节点接管；

（s2）重新使用DHT算法根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值存放在位于故障数据节点的前面或后面的元数据节点上，其余元数据节点上的信息不发生变动。

具体地，当新增数据节点时，则还包括以下步骤： 

（i1）重新整理哈希表分段，新增元数据节点接管位于该元数据节点前后的元数据节点的部分散列块段和相应的虚拟磁盘信息；

（i2）重新使用DHT算法根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值存放在新的元数据节点上。。 

进一步地，若新增的元数据节点接管位于其前后的元数据节点的部分散列块段和相应的虚拟磁盘信息后需要归属到新的元数据节点，则进行数据迁移。 

再进一步地，所述进行迁移的数据包括新增元数据节点接管后的部分散列块段和相应虚拟磁盘信息。 

与现有技术相比，本发明具有以下有益效果： 

（1）本发明每个元数据节点被分配给一个散列块，并成为这个散列块的管理者，将虚拟磁盘映射到相应的元数据节点，并由元数据节点管理储存映射到其内的虚拟磁盘信息，整个系统的扰乱性小；

（2）本发明当元数据节点发生故障时，故障元数据节点的散列块段和对应的虚拟磁盘信息由位于其前后的元数据节点接管，根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值存放在位于其前或后的元数据节点上，其余元数据节点上的信息不发生变动，需要调整的数据量少，故障的恢复间短，整个系统的性能极高，稳定性也很强；

（3）本发明当新增元数据节点时，新增元数据节点接管位于该元数据节点前后的元数据节点的部分散列块段和相应的虚拟磁盘信息，根据虚拟磁盘原有的唯一标识计算新的散列值，将新的散列值存放在新的元数据节点上，此种方式，需要调整的数据量少，故障的恢复间短，整个系统的性能极高，稳定性也很强。

附图说明

图1为本发明的工作流程图。 

具体实施方式