[发明专利]一种分布式计算系统的任务调度方法及系统

摘要

本发明涉及一种分布式计算系统的任务调度方法及系统，其中所述方法包括如下步骤：①将分布式计算系统集群中节点设置主节点和工作节点；②主节点将输入文件分成多个数据段；③主节点为工作节点分配数据段和任务，主节点从中提取出初始键值对并处理生成中间键值对，存储至公共区域；④主节点判断所有数据段的处理是否完成，若是则执行⑤，若否则执行③；⑤将中间键值对分成多个区并排序；⑥最后完成数据段处理的工作节点对中间键值对进行处理，将最终结果存储到所属区；⑦返回。本发明所述的分布式计算系统的任务调度方法及系统，负责分配任务的主节点仅负责分配任务，最后汇总计算处理结果由工作节点来完成，从而减轻在化简阶段的系统瓶颈问题。

主权项

一种分布式计算系统的任务调度方法，所述分布式计算系统的集群中的节点包括一个主节点和多个工作节点，其中所述主节点用于为所述多个工作节点进行任务调度，其特征在于，包括如下步骤：S1，用户程序启动MapReduce程序，同时用户程序进入休眠状态；主节点获取输入文件，主节点发出执行处理输入文件的请求，所述分布式计算系统对所述请求做出响应，并将所述输入文件分成多个数据段，主节点根据所述数据段数目生成多个Map子任务，并将所述Map子任务的副本复制到各个工作节点上，其中，每个所述Map子任务用于执行处理一个所述数据段的请求；同时，所述主节点按照用户程序逻辑设定一个或多个Reduce子任务，并将所述Reduce子任务的副本复制到所述各个工作节点上；S2，集群中的工作节点将空闲状态周期性地发送给所述主节点，主节点根据所述工作节点的空闲状态将所述数据段分配给所述工作节点，直到所有数据段均分配完毕，所述工作节点从所述数据段中提取出关于Key和Value的初始键值对，将所述初始键值对传递给Map子任务，由所述Map子任务进行处理，生成中间键值对，输出所述中间键值对至公共区域中，其中，所述公共区域为所述分布式计算系统中的一个目录，由所述用户程序在启动MapReduce程序时指定；S3，所述工作节点完成一个Map子任务后向所述主节点发出处理完成Map子任务的报告，主节点判断所有数据段的处理是否完成，若是，则执行步聚S4；若否，则返回执行步骤S3；S4，标记最后完成数据段处理的工作节点，将处于公共区域的多个所述中间键值对分成多个区，调取Reduce子任务，每个Reduce子任务对一个区中的中间键值按照Key进行排序，并将排序后的中间键值对周期性地写入所述分布式计算系统的公共区域；S5，最后完成数据段处理的工作节点获取所述公共区域的中间键值对，再次调取Reduce子任务对各个区的所述中间键值对进行处理，并将处理后得到的结果存储到所属区作为最终结果；S6，主节点唤醒用户程序，用户程序结束对MapReduce的调用并返回。