[发明专利]分布式系统集群在线分片扩容方法及装置

说明书

一种分布式系统集群在线分片扩容方法及装置，可用于金融领域或其他领域。方法包括：对新增集群进行集群编号，在集群路由配置规则中设置新增集群的序号段区间；序号段区间中的序号为连续且单调递增的数字；接收外部数据请求，确定外部数据请求中业务字段对应的哈希值；若原始集群中集群数据数量小于其序号段区间的序号个数，则根据哈希值确定对应的原始集群的集群编号，将集群数据路由至对应的原始集群；若原始集群中集群数据数量不小于其序号段区间中的序号个数，则根据哈希值确定对应的新增集群的集群编号，将集群数据路由至对应的新增集群。本发明避免了集群扩容大量数据迁移，几乎不需要变更时间，降低对业务系统造成的影响，节省了资源成本。

技术领域

本发明涉及分布式系统技术领域，尤指一种分布式系统集群在线分片扩容方法及装置。

背景技术

目前，一个新的业务系统刚上线时，业务量较小，为了节省资源和成本，一般采用最小集群部署。对于采用单元化或微服务架构的系统，数据库和应用容器合并部署。数据库分片一般采用业务字段hash后对初始集群取模的方式确定数据所在集群(其中业务字段即为hash要素)，公式表示为：mod(hash(业务字段)，集群数n)。业务上线初期集群数n较小，在同城双活的部署架构下，n一般取双数，两个园区对等部署，比如n＝2。后续随着业务量增加，集群数需要扩容时。对于7×24小时业务，为了不影响业务连续性，将扩容停机时间在正常投产时间内完成。目前常用的做法可采取双倍扩容方式，即集群数扩容后为n×2，扩容后业务数据在新集群的分片计算公式为：mod(hash(业务字段)，集群数n*2)。

按双倍扩容方式，原来集群0中的数据扩容后必然在新集群0和集群2中，原来集群1的数据将扩容后将在新集群1和集群3。利用数据库半同步复制技术，可以实现数据的在线扩容。然而，实际生产可能数据分布并不均匀，某些集群的业务比较活跃，数据量增加较快，这些集群的数据库性能容量很快不足。而每次都双倍扩容不仅浪费了资源，而且每次扩容涉及全量数据迁移，影响面较大，工作量也较大。

发明内容

针对现有技术中存在的问题，本发明实施例的主要目的在于提供一种分布式系统集群在线分片扩容方法及装置，实现集群在线分片扩容，保证业务的连续性，减少数据复制迁移的工作量等。

为了实现上述目的，本发明实施例提供一种分布式系统集群在线分片扩容方法，所述方法包括：

对新增集群进行集群编号，在分布式系统的集群路由配置规则中设置所述新增集群对应的序号段区间；其中，所述集群路由配置规则包括原始集群的集群编号及序号段区间，所述原始集群与新增集群的序号段区间中的序号为连续且单调递增的数字；

接收外部数据请求，并利用哈希算法，确定所述外部数据请求中的业务字段对应的哈希值；

若所述原始集群中集群数据数量小于其序号段区间的序号个数，则根据所述哈希值确定所述业务字段对应的原始集群的集群编号，并将所述业务字段对应的集群数据路由至对应的原始集群；

若所述原始集群中集群数据数量不小于其序号段区间中的序号个数，则根据所述哈希值确定所述业务字段对应的新增集群的集群编号，并将所述业务字段对应的集群数据路由至对应的新增集群。

可选的，在本发明一实施例中，所述对新增集群进行集群编号包括：

对分布式系统中新搭建的集群设备对应的新增集群进行集群编号，并关闭所述新增集群的服务开关。

可选的，在本发明一实施例中，所述在分布式系统的集群路由配置规则中设置所述新增集群对应的序号段区间包括：

根据所述新增集群的集群编号及原始集群的序号段区间，在集群路由配置规则的集群信息列表中增加所述新增集群对应的序号段区间，并打开新增集群的服务开关。

可选的，在本发明一实施例中，所述根据所述哈希值确定所述业务字段对应的原始集群的集群编号包括：