[发明专利]分布式数据处理方法、装置及系统

说明书

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种分布式数据处理方法、装置及系统。

背景技术

随着互联网技术的迅猛发展，海量数据时代已经来临，如何对海量数据进行处理成为了必须要面对的严峻考验。映射-化简(Map-Reduce)系统是一种分布式的并行系统，通常应用于分布式海量数据处理场景。Map-Reduce系统通过映射(Map)和化简(Reduce)过程实现对数据的分布式处理。

现有技术的Map-Reduce系统中，用于数据处理的工作节点通常为多个，客户端将待处理的文件划分为多个数据块后，将数据块分块上传至各个工作节点。但是，由于工作节点执行的Map任务所对应的多个数据块并不一定全都存储在该工作节点上，则需要将其他工作节点上的数据块迁移到一个工作节点上，再对该节点上的数据块执行Map任务。但由于Map-Reduce系统中处理的数据块的容量都比较大，数据块迁移过程会势必造成网络流量大的问题，影响了系统的计算效率。

发明内容

本发明实施例提供一种分布式数据处理方法、装置及系统，以避免分布式数据处理过程中各工作节点间的数据迁移造成的网络流量大的问题，提高系统的分布式数据处理效果。

本发明实施例提供一种分布式数据处理方法，包括：

根据获取到的上传节点指示信息和工作节点发送的任务获取请求生成映射Map任务，其中，所述上传节点指示信息包括多个数据块分别对应的工作节点的地址，所述Map任务对应的数据块分布在发送所述任务获取请求的工作节点上；

将所述Map任务分配给所述工作节点，以使所述工作节点对所述Map任务对应的数据块进行相应地处理。

本发明实施例提供一种分布式数据处理装置，包括：

任务生成单元，用于根据获取到的上传节点指示信息和工作节点发送的任务获取请求生成映射Map任务，其中，所述上传节点指示信息包括多个数据块分别对应的工作节点的地址，所述Map任务对应的数据块分布在发送所述任务获取请求的工作节点上；

任务分配单元，用于将所述Map任务分配给所述工作节点，以使所述工作节点对所述Map任务对应的数据块进行相应地处理。

本发明实施例提供一种分布式数据处理系统，包括主节点和至少两个工作节点，其中，

所述主节点为本发明提供的分布式数据处理装置；

所述工作节点用于向所述主节点发送任务获取请求，以及接收所述主节点分配的映射Map任务，对所述Map任务对应的数据块进行相应地处理。

由上述技术方案可知，本发明提供的分布式数据处理方法、装置及系统，主节点根据获取到的上传节点指示信息和工作节点发送的任务获取请求生成Map任务，将Map任务分配给工作节点，以使工作节点对Map任务对应的数据块进行相应地处理。由于Map任务是主节点在工作节点发送任务获取请求时根据上传节点指示信息生成的，该Map任务对应于该工作节点上的数据块，因此，工作节点根据该Map任务对数据块进行处理时，无需从其他工作节点进行数据块的迁移，避免了分布式数据处理过程中各工作节点间的数据迁移造成的网络流量大的问题，也避免了磁盘读写所占用的系统资源，提高系统的分布式数据处理效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的分布式数据处理方法流程图；

图2为本发明实施例一提供的数据块分布示意图；

图3为本发明实施例二提供的分布式数据处理方法流程图；

图4为本发明实施例二提供的任务请求和分配示意图；

图5为本发明实施例二提供的一种数据块结构示意图；

图6为本发明实施例二提供的另一种数据块结构示意图；

图7为本发明实施例三提供的分布式数据处理装置结构示意图；

图8为本发明实施例四提供的分布式数据处理装置结构示意图；

图9为本发明实施例五提供的一种分布式数据处理系统结构示意图；

图10为本发明实施例五提供的另一种分布式数据处理系统结构示意图。

具体实施方式