[发明专利]分布式数据处理方法、装置、电子设备和存储介质

权利要求书

1.一种分布式数据处理方法，包括：

响应于第一服务器的第一查询指令，获取分布式系统中每一个子节点的标识值，其中，所述第一查询指令是所述第一服务器在完成数据处理之后发出的，所述标识值用于表征与所述子节点对应的服务器所处理的数据段在待处理数据中的位置；

从所有所述子节点的标识值中确定最大标识值；

在确定所述待处理数据未处理完成的情况下，基于所述最大标识值和数据步长调整与所述第一服务器对应的第一子节点的标识值；

基于调整后的所述第一子节点的标识值和所述数据步长，从所述待处理数据中提取第一数据段；以及

将所述第一数据段加载到所述第一服务器中，以使所述第一服务器对所述第一数据段进行处理。

2.根据权利要求1所述的方法，还包括：

响应第二服务器的接入指令，获取所述分布式系统中当前子节点的数目；

根据所述当前子节点的数目，确定当前最大标识值；

在确定所述待处理数据未处理完成的情况下，创建与所述第二服务器对应的第二子节点；

基于所述当前最大标识值和所述数据步长设置所述第二子节点的标识值；

基于所述第二子节点的标识值和所述数据步长，从所述待处理数据中提取第二数据段；以及

将所述第二数据段加载到所述第二服务器中，以使所述第二服务器对所述第二数据段进行处理。

3.根据权利要求2所述的方法，其中，所述根据所述当前子节点的数目，确定当前最大标识值，包括：

在所述当前子节点的数目大于第一预设值的情况下，选择所有所述当前子节点的标识值中的最大值作为所述当前最大标识值；以及

在所述当前子节点的数目等于所述第一预设值的情况下，设置所述当前最大标识值为初始标识值。

4.根据权利要求1所述的方法，其中，所述数据段具有首位标识值，所述首位标识值与处理所述数据段的服务器对应的子节点的标识值相关；

所述方法还包括：

在服务器宕机事件触发的情况下，确定宕机的第三服务器；

确定所述第三服务器处理的第三数据段和所述分布式系统中当前子节点的当前最大标识值；以及

在所述当前最大标识值和所述第三数据段的首位标识值的差值大于或等于第二预设值的情况下，使用数据表记录所述第三数据段，其中，所述数据表中包括所述第三数据段的首位标识值和所述第三数据段的处理状态。

5.根据权利要求4所述的方法，其中，所述在服务器宕机事件触发的情况下，确定宕机的第三服务器，包括：

在所述分布式系统中的子节点被删除的情况下，确定所述服务器宕机事件触发；以及

确定被删除的子节点对应的服务器为所述第三服务器。

6.根据权利要求4所述的方法，还包括：

响应第四服务器的第二查询指令，查询所述数据表中是否存在所述处理状态为未处理的第三数据段，其中，所述第二查询指令是所述第四服务器在完成数据处理之后发出的；

在所述数据表中存在至少一个未处理的第三数据段的情况下，确定目标第三数据段；

将所述目标第三数据段加载到所述第四服务器中，以使所述第四服务器对所述目标第三数据段进行处理；以及

设置所述数据表中所述目标第三数据段的处理状态为已处理。

7.根据权利要求6所述的方法，其中，所述确定目标第三数据段，包括：

获取至少一个所述未处理的第三数据段的首位标识值中的最小首位标识值；以及

确定所述最小首位标识值对应的第三数据段为所述目标第三数据段。

8.根据权利要求6所述的方法，还包括：

在所述数据表中不存在所述未处理的第三数据段的情况下，向所述第四服务器发出数据表中无数据的反馈信息。