[发明专利]分布式系统集群在线分片扩容方法及装置

说明书

一种分布式系统集群在线分片扩容方法及装置，可用于金融领域或其他领域。方法包括：获取分布式系统中的集群路由配置规则，根据集群路由配置规则确定待分片集群；集群路由配置规则包括集群个数、待分片集群序号及集群拆分数；根据待分片集群序号及集群拆分数，对待分片集群进行拆分，得到待分片集群对应的子集群；根据接收到的外部数据请求，利用哈希算法确定外部数据请求的哈希值；根据哈希值、集群个数及各子集群，利用预设迭代次数进行哈希迭代计算，确定外部数据请求对应的指定集群，将对应的集群数据路由至指定集群。本发明实现在分布式系统下的分片扩容，对指定性能容量不足的集群进行扩容，减少扩容对业务系统造成的影响，节省了资源成本。

技术领域

本发明涉及分布式系统技术领域，尤指一种分布式系统集群在线分片扩容方法及装置。

背景技术

目前，一个新的业务系统刚上线时，业务量较小，为了节省资源和成本，一般采用最小集群部署。对于采用单元化或微服务架构的系统，数据库和应用容器合并部署。数据库分片一般采用业务字段hash后对初始集群取模的方式确定数据所在集群，公式表示为：mod(hash(业务字段)，集群数n)。业务上线初期集群数n较小，在同城双活的部署架构下，n一般取双数，两个园区对等部署，比如n＝2。后续随着业务量增加，集群数需要扩容时。对于7×24小时业务，为了不影响业务连续性，将扩容停机时间在正常投产时间内完成。目前常用的做法可采取双倍扩容方式，数据扩容后分布如图1所示，即集群数扩容后为n×2，扩容后业务数据在新集群的分片计算公式为：mod(hash(业务字段)，集群数n*2)。

按双倍扩容方式，原来集群0中的数据扩容后必然在新集群0和集群2中，原来集群1的数据将扩容后将在新集群1和集群3。利用数据库半同步复制技术，可以实现数据的在线扩容。然而，实际生产可能数据分布并不均匀，某些集群的业务比较活跃，数据量增加较快，这些集群的数据库性能容量很快不足。而每次都双倍扩容不仅浪费了资源，而且每次扩容涉及全量数据迁移，影响面较大，工作量也较大。

发明内容

针对现有技术中存在的问题，本发明实施例的主要目的在于提供一种分布式系统集群在线分片扩容方法及装置，实现对指定业务集群进行扩容，保证业务的连续性，减少数据复制量和迁移工作量，缩短扩容时间，节约资源投入。

为了实现上述目的，本发明实施例提供一种分布式系统集群在线分片扩容方法，所述方法包括：

获取分布式系统中的集群路由配置规则，并根据所述集群路由配置规则确定待分片集群；其中，所述集群路由配置规则包括集群个数、待分片集群序号及集群拆分数；

根据所述集群路由配置规则中的待分片集群序号及集群拆分数，对所述待分片集群进行拆分，得到待分片集群对应的子集群；

根据接收到的外部数据请求，利用哈希算法确定所述外部数据请求对应的哈希值；

根据所述哈希值、集群个数及所述分布式系统中的各子集群，利用预设迭代次数进行哈希迭代计算，确定所述外部数据请求对应的指定集群，并将所述外部数据请求对应的集群数据路由至所述指定集群。

可选的，在本发明一实施例中，所述方法还包括：

根据分布式系统中各集群的业务量及数据库容量，确定待分片集群的序号及集群拆分数；

根据所述待分片集群的序号及集群拆分数，对所述分布式系统中的集群路由配置规则进行更新。

可选的，在本发明一实施例中，所述根据所述集群路由配置规则中的待分片集群序号及集群拆分数，对所述待分片集群进行拆分，得到待分片集群对应的子集群包括：

根据所述集群路由配置规则中的待分片集群序号，在所述分布式系统的多个集群中确定待分片集群；

关闭所述待分片集群的服务开关，根据所述集群路由配置规则中的集群拆分数，对所述待分片集群进行拆分，得到待分片集群对应的子集群。