[发明专利]分布式数据处理方法、装置及系统

权利要求书

1.一种分布式数据处理方法，其特征在于，包括：

根据获取到的上传节点指示信息和工作节点发送的任务获取请求生成映射Map任务，其中，所述上传节点指示信息包括多个数据块分别对应的工作节点的地址，所述Map任务对应的数据块分布在发送所述任务获取请求的工作节点上；

将所述Map任务分配给所述工作节点，以使所述工作节点对所述Map任务对应的数据块进行相应地处理。

2.根据权利要求1所述的分布式数据处理方法，其特征在于，所述根据获取到的上传节点指示信息和工作节点发送的任务获取请求生成映射Map任务之前，还包括：

根据客户端发送所述文件信息，生成文件划分指示信息和所述上传节点指示信息，将所述文件划分指示信息和所述上传节点指示信息发送给所述客户端，以使所述客户端根据所述文件划分指示信息将待处理文件划分为多个所述数据块，根据所述上传节点指示信息将各所述数据块分别发送给对应的工作节点。

3.根据权利要求2所述的分布式数据处理方法，其特征在于，所述根据获取到的上传节点指示信息和工作节点发送的任务获取请求生成映射Map任务，包括：

当接收到所述工作节点发送的任务获取请求时，根据所述上传节点指示信息确定发送给所述工作节点的数据块，获取所述工作节点对应的数据块的处理状态；

根据所述处理状态为未处理的数据块生成所述Map任务，将所述Map任务对应的数据块的处理状态更改为已处理。

4.根据权利要求3所述的分布式数据处理方法，其特征在于：

获取所述工作节点对应的数据块的处理状态，包括：

对数据块处理状态记录表进行查询，获取所述工作节点对应的数据块的处理状态，其中，所述数据块处理状态记录表用以记录各所述数据块的处理状态；

将所述Map任务对应的数据块的处理状态更改为已处理，包括：

将所述数据块处理状态记录表中的所述Map任务对应的数据块的处理状态更改为已处理。

5.根据权利要求2所述的分布式数据处理方法，其特征在于：

所述客户端根据所述文件划分指示信息将待处理文件划分为多个所述数据块，包括：

所述客户端根据所述文件划分指示信息将所述待处理文件划分为多个所述数据块，相邻的两个数据块具有重叠区域，在第一个数据块的起始位置添加首数据块标识，其中，所述待处理文件包括多条数据记录，所述重叠区域的容量大于所述数据记录的容量；

所述工作节点对所述Map任务对应的数据块进行相应地处理，包括：

若所述数据块尾部的数据记录为不完整的，则所述工作节点将所述不完整的数据记录删除，若所述数据块的起始位置不具有所述首数据块标识，则将所述数据块首部的重叠区域中包含的结束指示位对应的数据记录删除，将所述数据块中的剩余的数据记录进行相应地处理，其中，所述结束指示位用以指示所述数据记录结束。

6.一种分布式数据处理装置，其特征在于，包括：

任务生成单元，用于根据获取到的上传节点指示信息和工作节点发送的任务获取请求生成映射Map任务，其中，所述上传节点指示信息包括多个数据块分别对应的工作节点的地址，所述Map任务对应的数据块分布在发送所述任务获取请求的工作节点上；

任务分配单元，用于将所述Map任务分配给所述工作节点，以使所述工作节点对所述Map任务对应的数据块进行相应地处理。

7.根据权利要求6所述的分布式数据处理装置，其特征在于，还包括：

指示信息生成单元，用于根据客户端发送所述文件信息，生成文件划分指示信息和所述上传节点指示信息，将所述文件划分指示信息和所述上传节点指示信息发送给所述客户端，以使所述客户端根据所述文件划分指示信息将待处理文件划分为多个所述数据块，根据所述上传节点指示信息将各所述数据块分别发送给对应的工作节点。

8.根据权利要求7所述的分布式数据处理装置，其特征在于，所述任务生成单元包括：

处理状态获取子单元，用于当接收到所述工作节点发送的任务获取请求时，根据所述上传节点指示信息确定发送给所述工作节点的数据块，获取所述工作节点对应的数据块的处理状态；

任务生成子单元，用于根据所述处理状态为未处理的数据块生成所述Map任务，将所述Map任务对应的数据块的处理状态更改为已处理。