[发明专利]分布式数据处理方法、装置、设备及存储介质

说明书

本发明涉及数据处理技术，揭露一种分布式数据处理方法，包括：根据文件列表提取的业务数据触发键值数据库，键值数据库根据业务数据及服务器集群构建分片式任务列表；根据服务器集群及分片式任务列表选取目标服务器及目标任务；向目标服务器发布目标任务；在未成功处理目标任务时，将目标任务存储至失败任务列表；在成功处理目标任务时，从未发布的分片式任务中提取目标任务并发布给目标服务器；在不存在未发布的任务时，从失败任务列表中提取目标任务并发布给目标服务器；在失败任务列表中不存在任务时，目标服务器停止数据处理。本发明还提出一种分布式数据处理装置、设备以及介质。本发明可以提高服务器资源利用率以及业务数据处理效率问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种分布式数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

随着业务的增量发展，系统的数据量越来越多，系统定时器需要处理的数据量越来越多，在分布式集群的环境下，单机性能较差，存在无法充分利用现有的所有服务器资源，甚至部分机器内存溢出，宕机。现有技术方案有分布式job，xx-job，djss-job等，这些方案只能通知每台服务器去执行任务，无差别的传递任务参数，无法通知每个服务器所处理数据范围和处理失败后的补处理，也无法实现服务器数量变更的动态扩容。综上所述，现有技术中存在服务器资源无法充分利用，服务器无法明确任务处理范围，业务数据处理效率低以及处理可能不充分的问题。

发明内容

本发明提供一种分布式数据处理方法、装置及计算机可读存储介质，其主要目的在于解决服务器资源利用率低，服务器无法明确任务处理范围而导致的业务数据处理效率低以及处理不充分的问题。

为实现上述目的，本发明提供的一种分布式数据处理方法，包括：

获取文件列表，根据所述文件列表提取业务数据，根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表；

从所述服务器集群中逐个选取其中一个服务器作为目标服务器，从所述分片式任务列表按顺序选取其中一个分片式任务作为目标分片式任务；

向所述目标服务器发布所述目标分片式任务，并判断所述目标服务器是否成功处理所述目标分片式任务；

若未成功处理所述目标分片式任务，则将所述目标分片式任务存储至失败任务列表；

若成功处理所述目标分片式任务，则判断所述分片式任务列表中是否存在未发布的分片式任务；

若存在未发布的分片式任务，则按预设顺序从所述未发布的分片式任务中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；

若不存在未发布的分片式任务，则判断所述失败任务列表中是否存在分片式任务；

若存在分片式任务，则从所述失败任务列表中提取目标分片式任务，并返回向所述目标服务器发布所述目标分片式任务的步骤；

若不存在分片式任务，则所述目标服务器停止数据处理。

可选地，所述根据所述文件列表提取业务数据，包括：

提取所述文件列表中的文件名，获取所述文件名对应的存储路径；

将所述存储路径编译为路径参数，利用所述路径参数对预设的数据接口进行赋值，并利用赋值后的所述数据接口对所述文件名对应的业务数据进行调用。

可选地，所述根据所述业务数据触发预设的键值数据库，所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任务列表，包括：

在所述业务数据触发预设的键值数据库所对应的接口时，所述接口触发键值数据库的通知；

在接收到所述通知后，所述键值数据库调取所述业务数据；