[发明专利]基于分布式数据的并发处理方法和系统

摘要

一种基于分布式数据的并发处理方法，包括以下步骤控制端获取提交的作业对应的数据块信息；任务处理端向控制端发送任务处理请求；控制端查找与任务处理端分布于同一服务器且还未分配的数据块，将查找到的数据块分配给任务处理端；若未查找到相应的数据块，则控制端统计正在被任务处理端处理的数据块最少的服务器，将该服务器上未分配的数据块分配给任务处理端；任务处理端按照预设流程处理控制端分配的数据块。上述方法可并发处理分布式数据。而且任务处理端优先处理本机存储的数据块，或者处理正在被处理的数据块最少的服务器上的未分配的数据块，可提高并发处理的整体速度。此外，还提供一种基于分布式数据的并发处理系统。

主权项

一种基于分布式数据的并发处理方法，包括以下步骤：控制端获取提交的作业的预设信息；所述控制端检查所述作业是否已经成功初始化，若否，则所述控制端获取提交的作业对应的数据块信息，在获取所述作业对应的数据块信息后，在预设的作业处理情况表中存储所述作业对应的数据块信息，并在所述作业处理情况表中记录所述数据块为未分配状态，标记所述作业为已经成功初始化状态，若是，则等待任务处理端发送任务处理请求；任务处理端向所述控制端发送任务处理请求；所述控制端查找与所述任务处理端分布于同一服务器且还未分配的数据块，将查找到的数据块分配给所述任务处理端；若未查找到与所述任务处理端分布于同一服务器且还未分配的数据块，则所述控制端统计正在被任务处理端处理的数据块最少的服务器，将该服务器上未分配的数据块分配给请求任务的任务处理端；所述请求任务的任务处理端按照预设流程处理所述控制端分配的数据块。