[发明专利]分布式数据处理方法、装置、电子设备和存储介质

说明书

本公开提供了一种分布式数据处理方法，包括：响应于第一服务器的第一查询指令，获取分布式系统中每一个子节点的标识值，第一查询指令是第一服务器在完成数据处理之后发出的，标识值用于表征与子节点对应的服务器所处理的数据段在待处理数据中的位置；从所有子节点的标识值中确定最大标识值；在确定待处理数据未处理完成的情况下，基于最大标识值和数据步长调整与第一服务器对应的第一子节点的标识值；基于调整后的第一子节点的标识值和数据步长，从待处理数据中提取第一数据段；以及将第一数据段加载到第一服务器中，以使第一服务器对第一数据段进行处理。本公开还提供了一种分数式数据处理装置、一种电子设备、一种存储介质和一种程序产品。

技术领域

本公开涉及计算机技术领域/软件工程技术领域，更具体地，涉及一种分布式数据处理方法、一种分布式数据处理装置、一种电子设备、一种可读存储介质和一种计算机程序产品。

背景技术

随着计算机技术的快速发展和信息化进程的推进，各领域中需要处理的数据的数据量也随之增大，单台服务器已难以在有限的时间内处理完全部数据，此时需要多台服务器协同工作来完成数据处理。

在实现本公开构思的过程中，发明人发现在多台服务器协同工作的过程中，每一台服务器处理的数据分配不合理，存在着服务器计算资源的利用率较低问题。

发明内容

有鉴于此，本公开提供了一种分布式数据处理方法、一种分布式数据处理装置、一种电子设备、一种可读存储介质和一种计算机程序产品。

本公开的一个方面提供了一种分布式数据处理方法，包括：响应于第一服务器的第一查询指令，获取分布式系统中每一个子节点的标识值，其中，上述第一查询指令是上述第一服务器在完成数据处理之后发出的，上述标识值用于表征与上述子节点对应的服务器所处理的数据段在待处理数据中的位置；从所有上述子节点的标识值中确定最大标识值；在确定上述待处理数据未处理完成的情况下，基于上述最大标识值和数据步长调整与上述第一服务器对应的第一子节点的标识值；基于调整后的上述第一子节点的标识值和上述数据步长，从上述待处理数据中提取第一数据段；以及将上述第一数据段加载到上述第一服务器中，以使上述第一服务器对上述第一数据段进行处理。

根据本公开的实施例，上述方法还包括：响应第二服务器的接入指令，获取上述分布式系统中当前子节点的数目；根据上述当前子节点的数目，确定当前最大标识值；在确定上述待处理数据未处理完成的情况下，创建与上述第二服务器对应的第二子节点；基于上述当前最大标识值和上述数据步长设置上述第二子节点的标识值；基于上述第二子节点的标识值和上述数据步长，从上述待处理数据中提取第二数据段；以及将上述第二数据段加载到上述第二服务器中，以使上述第二服务器对上述第二数据段进行处理。

根据本公开的实施例，上述根据上述当前子节点的数目，确定当前最大标识值，包括：在上述当前子节点的数目大于第一预设值的情况下，选择所有上述当前子节点的标识值中的最大值作为上述当前最大标识值；以及在上述当前子节点的数目等于上述第一预设值的情况下，设置上述当前最大标识值为初始标识值。

根据本公开的实施例，上述数据段具有首位标识值，上述首位标识值与处理上述数据段的服务器对应的子节点的标识值相关；上述方法还包括：在服务器宕机事件触发的情况下，确定宕机的第三服务器；确定上述第三服务器处理的第三数据段和上述分布式系统中当前子节点的当前最大标识值；以及在上述当前最大标识值和上述第三数据段的首位标识值的差值大于或等于第二预设值的情况下，使用数据表记录上述第三数据段，其中，上述数据表中包括上述第三数据段的首位标识值和上述第三数据段的处理状态。

根据本公开的实施例，上述在服务器宕机事件触发的情况下，确定宕机的第三服务器，包括：在上述分布式系统中的子节点被删除的情况下，确定上述服务器宕机事件触发；以及确定被删除的子节点对应的服务器为上述第三服务器。