[发明专利]数据处理方法、分布式系统、计算机系统和介质

说明书

本公开提供了一种分布式系统的数据处理方法，所述分布式系统包括：应用服务器集群、代理服务器集群和数据存储服务器集群，所述方法包括：由所述应用服务器集群向所述代理服务器集群发送读请求数据包；由所述代理服务器集群确定与所述读请求数据包对应且位于所述数据存储服务器集群中的第一指定分片；以及，当确定所述第一指定分片为待迁移分片时，由所述代理服务器集群将所述第一指定分片中与所述读请求数据包相关的第一数据优先迁移所述第一指定分片的迁移目标分片，以便所述代理服务器集群中的任一代理服务器节点从所述迁移目标分片读取所述第一数据并返回至所述应用服务器集群。本公开还提供了一种分布式系统、计算机系统和介质。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种分布式系统的数据处理方法、分布式系统、计算机系统和介质。

背景技术

随着业务范围的快速扩展，银行、互联网等企业所部署的分布式系统经常面临以下情景：(1)业务访问量、交易量、数据量等指标随时间不断增长。(2)每当特殊活动日(如节日促销、店庆等)，访问量、交易量、数据量等指标会急剧增加，而在活动结束后，各项指标又会恢复原有水平。为应对以上情景，大部分分布式系统在最初构建集群时即按业务数据的峰值来评估搭建，然而由于通常情况下的业务数据远低于峰值业务数据，从而造成了计算节点、存储节点的大量闲置浪费，且当评估不准确、或业务数据增长过快无法预测时，为满足数据增长后的存储需求，只能对分布式系统进行扩容或对已存储的数据进行动态迁移。在动态迁移过程中，由于增加分片节点后将影响所有节点的数据访问路由规则，所以需要应用停机配合扩容，对全量数据进行重分布后，更新路由信息，才能对外服务，影响了分布式系统的服务连续性。

发明内容

本公开的一个方面提供了一种分布式系统的数据处理方法，分布式系统包括：应用服务器集群、代理服务器集群和数据存储服务器集群。该方法包括：由应用服务器集群向代理服务器集群发送读请求数据包。由代理服务器集群确定与读请求数据包对应且位于数据存储服务器集群中的第一指定分片。当确定第一指定分片为待迁移分片时，由代理服务器集群将第一指定分片中与所述读请求数据包相关的第一数据优先迁移第一指定分片的迁移目标分片，以便代理服务器集群中的任一代理服务器节点从该迁移目标分片读取第一数据并返回至应用服务器集群。

可选地，上述方法还包括：当确定第一指定分片为非待迁移分片时，由代理服务器集群中的任一代理服务器节点从第一指定分片读取第一数据并将第一数据返回至应用服务器集群。

可选地，分布式系统还包括分布式消息队列集群。上述方法还包括：由应用服务器集群向代理服务器集群发送写请求数据包。由代理服务器集群确定与写请求数据包对应且位于数据存储服务器集群中的第二指定分片。当确定第二指定分片为待迁移分片时，由代理服务器集群将写请求数据包中的第二数据写入分布式消息队列集群，以便代理服务器集群中的任一代理服务器节点将第二数据从分布式消息队列集群迁移至第二指定分片的目标迁移分片。

可选地，上述方法还包括：当确定第二指定分片为非待迁移分片时，由代理服务器集群中的任一代理服务器节点将第二数据写入所述第二指定分片。

可选地，数据存储服务器集群包括一个或多个节点组、以及一个或多个新增节点组，其中，每个节点组包括一个主节点和一个备节点，每个新增节点组包括一个新增主节点和一个新增备节点。上述方法还包括：在每个节点组中的主节点和备节点相连接的情况下，使得主节点和备节点数据读写保持同步。和/或，在每个新增节点组中的新增主节点和新增备节点相连接的情况下，使得新增主节点和新增备节点的数据读写保持同步。

可选地，第二指定分片位于一个主节点中，第二指定分片的迁移目标分片位于一个新增主节点中。分布式系统还包括管理控制台集群。上述方法还包括：当对所述第二指定分片进行迁移时，由所述管理控制台集群断开每个节点组中的主节点和备节点之间的连接。由管理控制台集群从第二指定分片中随机选取一条数据并迁移至第二指定分片的迁移目标分片，并将该条数据从第二指定分片中删除。以及，由管理控制台集群重复上述操作，直至第二指定分片中的数据被全部删除。