[发明专利]一种运行MapReduce作业的方法、装置及系统

权利要求书

1.一种运行MapReduce作业的方法，其特征在于，所述方法包括：

创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；其中，所述对所述MapReduce作业描述文件进行解析，并生成相应的MapReduce对象，包括：根据解析后的所述MapReduce作业描述文件，生成与所述MapReduce作业描述文件对应的INPUT对象、OUTPUT对象、MAPPER对象、REDUCER对象、TASK对象和RUN对象；其中，所述INPUT对象、所述OUTPUT对象、所述MAPPER对象、所述REDUCER对象和所述TASK对象均为一个以上；

根据所述MapReduce对象中指定的MapReduce数据，生成相应的结构化查询语言SQL序列；其中，所述SQL序列中包括至少一个MapReduce任务；

根据所述RUN对象中指定的作业调度次序，生成各任务的有向无环图DAG，根据有向无环图DAG将所述SQL序列进行发送。

2.根据权利要求1所述的方法，其特征在于，所述根据所述MapReduce对象中指定的MapReduce数据，生成相应的SQL序列，包括：

根据所述INPUT对象中指定的任务输入源数据，生成第一SQL序列；

根据所述MAPPER对象中指定的映射函数，对所述任务输入源数据进行映射运算，并生成第二SQL序列；

根据所述REDUCER对象中指定的化简函数，对所述任务输入源数据进行化简运算，并生成第三SQL序列；

根据所述TASK对象中指定的子对象，确定与所述任务输入源数据对应的映射键值和化简键值，并生成第四SQL序列；

根据所述OUTPUT对象中指定的任务输出数据，生成第五SQL序列；

其中，所述第一SQL序列、所述第二SQL序列和所述第三SQL序列作为所述TASK对象中所述子对象的输入。

3.根据权利要求2所述的方法，其特征在于，所述根据所述RUN对象中指定的作业调度次序，生成各任务的有向无环图DAG，根据有向无环图DAG将所述SQL序列进行发送，包括：

根据所述有向无环图DAG将所述第五SQL序列进行发送。

4.一种运行MapReduce作业的方法，其特征在于，所述方法包括：

通过主控节点接收根据MapReduce对象中指定的MapReduce数据生成的SQL序列，并对所述SQL序列进行解析，生成任务计划；其中，所述主控节点还用于获取各数据节点发送的心跳，监控所述各数据节点的状态；所述MapReduce对象为：创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成的相应的MapReduce对象；所述SQL序列中包括至少一个MapReduce任务；

向所述各数据节点分发所述任务计划，并对所述任务计划进行执行操作。

5.根据权利要求4所述的方法，其特征在于，在所述对所述任务计划进行执行操作之后，所述方法还包括：

返回所述任务计划的执行结果。