[发明专利]一种分布式存储系统的数据分裂方法及装置

说明书

本发明实施例提供了一种分布式存储系统的数据分裂方法及装置。该方法包括：监测各个数据分片的每秒查询率QPS是否大于第一预设阈值；将QPS大于第一预设阈值的数据分片确定为目标数据分片，对目标数据分片的访问请求进行采样，形成关于所采样的访问请求对应的索引键值的采样数据流；判断目标数据分片的QPS是否大于第二预设阈值；若是，确定采样数据流中每预设时间段内的索引键值的中位数；根据所确定的中位数，预测获得当前时刻对应的下一预设时间段内的索引键值的中位数，并将所预测获得的中位数确定为分裂点；根据分裂点，对目标数据分片进行分裂。通过本方案对访问请求热点上的数据分片进行分裂，能够实现访问请求的负载均衡。

技术领域

本发明涉及数据存储技术领域，特别是涉及一种分布式存储系统的数据分裂方法及装置。

背景技术

大数据时代，海量数据的存储是一项关键技术。随着数据规模的增加，单个存储结点的QPS(Query Per Second，每秒查询率)过大，无法承受访问的压力时，就需要采用分布式存储的解决方案，使用数据分片技术，将数据分发到不同的存储结点，以消除访问请求的热点，从而实现负载均衡。其中，访问请求的热点，指QPS过大的数据分片对应的存储结点，而存储结点指存储服务器，可以是物理服务器，也可以是虚拟服务器。

其中，传统的关系型数据库以及大数据时代兴起的各类Nosql(Not Only SQL，非关系型数据库)数据库，都已广泛应用数据分片技术，构成分布式存储系统，并且由于分布式存储系统采用了可扩展的系统结构，利用多台存储服务器来分担存储负荷、位置服务器来定位存储信息，不但提高了系统的可靠性、可用性和存取效率，还易于扩展，能够随着数据量、QPS的增加，动态地扩展存储结点；例如HBase，一个分布式的、面向列的开源数据库，应用数据分片技术，会将一个数据表的数据划分为若干region(HBase数据存储和管理的基本单位)，即若干个数据分片，并将region分配到集群的各个结点上，而当一个region的大小超过设定的阈值时，则会自动根据该region的rowkey(行键)范围对半分裂为两个子region，而分裂后的两个子region将会分配在不同的存储结点上。

目前，大部分的数据分片技术，都是采用基于索引的分裂策略。例如HBase，假设数据量基于主键索引有一定分布规律，那么，可以根据主键索引进行分裂，分裂后，将数据量均匀的划分到两个子region中；其中，主键索引为针对主键建立的唯一索引，它是对数据库表中主键对应列的值进行排序的一种结构。举例而言，数据表A中，索引键值小于或等于K1的数据总量与大于K1的数据总量相等，那么，便可以确定K1为分裂点，将索引键值小于或等于K1的数据划分为一个子region，大于K1的数据确定为另一个子region。

然而，在实际应用中，对于数据的访问并不均匀，也就是说，即使基于索引的分裂策略能保证数据量的均匀划分，但请求的访问仍然可能集中在部分的数据上，即，数据分片上数据量的分布，与访问请求的分布可能并不一致，从而使得基于索引的分裂策略失效，无法解决热点问题，导致访问请求的负载不均衡。

发明内容

本发明实施例的目的在于提供一种分布式存储系统的数据分裂方法及装置，以实现访问请求的负载均衡。具体技术方案如下：

第一方面，本发明实施例提供了一种分布式存储系统的数据分裂方法，所述方法包括：

监测各个数据分片的每秒查询率QPS是否大于第一预设阈值；

将QPS大于第一预设阈值的数据分片确定为目标数据分片，对所述目标数据分片的访问请求进行采样，形成关于所采样的访问请求对应的索引键值的采样数据流；

判断所述目标数据分片的QPS是否大于第二预设阈值；

若是，确定所述采样数据流中每预设时间段内的索引键值的中位数；