[发明专利]分布式数据处理方法、装置、设备及存储介质

权利要求书

1.一种分布式数据处理方法，其特征在于，所述方法包括：

获取文件列表，根据所述文件列表提取业务数据，根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表；

从所述服务器集群中逐个选取其中一个服务器作为目标服务器，从所述分片式任务列表按顺序选取其中一个分片式任务作为目标分片式任务；

向所述目标服务器发布所述目标分片式任务，并判断所述目标服务器是否成功处理所述目标分片式任务；

若未成功处理所述目标分片式任务，则将所述目标分片式任务存储至失败任务列表；

若成功处理所述目标分片式任务，则判断所述分片式任务列表中是否存在未发布的分片式任务；

若存在未发布的分片式任务，则按预设顺序从所述未发布的分片式任务中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；

若不存在未发布的分片式任务，则判断所述失败任务列表中是否存在分片式任务；

若存在分片式任务，则从所述失败任务列表中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；

若不存在分片式任务，则所述目标服务器停止数据处理。

2.如权利要求1所述的分布式数据处理方法，其特征在于，所述根据所述文件列表提取业务数据，包括：

提取所述文件列表中的文件名，获取所述文件名对应的存储路径；

将所述存储路径编译为路径参数，利用所述路径参数对预设的数据接口进行赋值，并利用赋值后的所述数据接口对所述文件名对应的业务数据进行调用。

3.如权利要求1所述的分布式数据处理方法，其特征在于，所述根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表，包括：

在所述业务数据触发预设的键值数据库所对应的接口时，所述接口触发键值数据库的通知；

在接收到所述通知后，所述键值数据库调取所述业务数据；

获取预设的服务器集群中每台服务器的历史数据处理能力，并根据所述历史处理能力对所述业务数据进行分片，得到多个分片式任务；

将所述分片式任务按预设顺序填入预设列表中，得到分片式任务列表。

4.如权利要求1所述的分布式数据处理方法，其特征在于，所述向所述目标服务器发布所述目标分片式任务，包括：

从所述键值数据库中反射调用所述目标分片式任务；

扫描所述目标服务器的接口，向所述接口发送所述目标分片式任务。

5.如权利要求1所述的分布式数据处理方法，其特征在于，所述判断所述目标服务器是否成功处理所述目标分片式任务，包括：

动态监测所述目标分片式任务的处理状态；

当所述处理状态为停止时，获取所述目标服务器的处理日志；

检测所述处理日志中是否存在预设敏感字段；

若存在预设敏感字段，则判定所述目标服务器未成功处理所述目标分片式任务；

若不存在预设敏感字段，则判定所述目标服务器成功处理所述目标分片式任务。

6.如权利要求1所述的分布式数据处理方法，其特征在于，所述判断所述失败任务列表中是否存在分片式任务，包括：

查看所述失败任务列表是否为空；

若失败任务列表为空，则判定失败任务列表中不存在分片式任务；

若失败任务列表不为空，则判定遍历所述失败任务列表中的每一个ID所对应的处理属性是否为空；

若遍历到ID所对应的处理属性为空，则判定所述失败任务列表中存在分片式任务；

若未遍历到ID所对应的处理属性为空，则判定所述失败任务列表中不存在分片式任务。

7.如权利要求1至6中任一项所述的分布式数据处理方法，其特征在于，所述获取文件列表，包括：

接收数据处理请求，并识别所述数据处理请求中的请求体；

提取所述请求体中的数据，得到文件列表。