[发明专利]一种支持HBase跨多地资源池部署的方法

说明书

本发明涉及计算机数据存储领域，具体公开了一种支持HBase跨多地资源池部署的方法，所述方法如下将元数据集群划分为一个或者多个MetaRegion，MetaRegion之间是相互独立的，没有交集的，所有MetaRegion构成一个完整的HBase元数据集群；本发明通过将HBase集群划分为多个MetaRegion的方式，减少了每个MetaRegion中HRegionServer和DataNode的数量，将单个节点故障造成的影响限制在了一个MetaRegion中，起到了故障隔离的作用；同时在跨多地资源池部署时可避免不同资源池之间网络的稳定性较差等原因带来的问题。

技术领域

本发明涉及计算机数据存储领域，具体是一种支持HBase跨多地资源池部署的方法。

背景技术

HBase是一种具有高可靠性、高性能、面向列、可伸缩的分布式键值存储系统，不同于一般的关系数据库，它是一个适合于非结构化数据存储的分布式数据库。HBase利用优秀的分布式系统技术使其可在廉价的商用服务器上即可构建具有高可靠性、高可用性、高可扩展性的元数据服务。HBase解决了传统数据库在成本、扩展性、可用性等方面的限制，在大数据时代满足了数据规模极大、扩展性和性能稳定性要求高的需求。

实际上，HBase作为一种分布式的大规模键值管理系统，并不负责底层数据的存储，底层数据是由分布式文件系统HDFS存储、管理的，HBase利用HDFS解决了底层数据的大规模存储、管理、扩展、可靠性检测恢复等功能需求。除此之外，HBase依赖分布式应用程序协调服务Zookeeper，Zookeeper是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等，HBase依赖Zookeeper解决了主备Master节点的切换、数据节点管理、元数据表管理及一些协同性服务和管理等功能需求。

架构上，HBase是一种主从式结构，包括主节点Master、多个服务节点HRegionServer。HBase可以启动多个Master，通过Zookeeper的Master E l ect ion机制保证总有一个Master提供服务，主节点Master主要负责表Tab l e和数据Region的管理工作，并不接收Cl ient的业务请求，从而避免了Master成为系统的瓶颈；HRegi onServer管理Master分配的Regions，负责响应用户I/O请求，从HDFS文件系统中读写数据。一个元数据集群可以包含多个HRegi onServer，并且可以根据集群的负载情况动态增加HRegionServer，元数据将一张表根据行key划分为多个不同的Regi on，Region会均匀的分配到各个HRegionServer，因此，即使用户的访问请求发生爆发性增长，也会被分散到元数据整个集群，而且通过增加HRegionServer节点即可降低对集群的影响，从而保证元数据集群性能的稳定性。

HBase自身具备的特性使其在局域网内部具有较好的稳定性、可靠性、可扩展性，但是随着集群规模的不断扩大，尤其在涉及到跨多地资源池的部署环境时，HBase就会暴露出稳定性、可靠性下降的问题，导致读写性能下降，可用性降低，甚至数据丢。

在HBase中，随着集群规模越大，出现三个存储节点DataNode同时不能提供服务的可能性就越大，数据的可靠性就会降低。尤其是在跨多地资源池部署环境中，三个副本可能分散存储在两个不同地区的资源池中，物理位置上相距甚远，导致在读写时性能严重下降，而且不同资源池之间的网络较同一资源池内的稳定性更差，带宽也更小，严重影响整个HBase集群的可用性、稳定性、可靠性。

基于以上背景与缺陷，我们提出一种支持HBase跨多地资源池部署的方法。

发明内容

本发明的目的在于提供提出一种支持HBase大规模部署尤其是跨多地资源池部署时的可行性方法，该方法既保留了元数据的优点，也解决了大规模集群部署尤其是跨多地资源池部署时服务可用性、系统稳定性、数据可靠性降低的问题。