[发明专利]一种运行MapReduce作业的方法、装置及系统

说明书

本发明公开了一种运行MapReduce作业的方法，所述方法包括：创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；根据所述MapReduce对象中指定的MapReduce数据，生成相应的结构化查询语言(SQL)序列；其中，所述SQL序列中包括至少一个MapReduce任务；根据有向无环图(DAG)将所述SQL序列进行发送。本发明还同时公开了一种运行MapReduce作业的装置及系统。

技术领域

本发明涉及运行MapReduce作业技术，具体涉及一种运行MapReduce作业的方法、装置及系统。

背景技术

目前，随着互联网以及移动互联网技术的发展，企业开始部署大数据平台。Hadoop体系的MapReduce作业很好得解决了大数据分析与处理问题。这里，Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。但传统的分布式关系型数据库只提供结构化查询语言(SQL，StructuredQuery Language)来开发作业，然而编程人员更倾向于使用MapReduce这种方式来进行作业开发。

目前，现有技术中通常通过：将常用的MapReduce函数与数据库中SQL的对应关系固定下来，作为模板来匹配用户的MapReduce作业中的函数。

但是采用这种方式存在以下问题：

1)只能匹配少量且固定的MapReduce函数；

2)只能形成单条简单的SQL而非SQL序列；

3)不支持多MapReduce任务的作业。

发明内容

为解决现有存在的技术问题，本发明实施例期望提供一种运行MapReduce作业的方法、装置及系统，能够运行自定义的MapReduce函数。

本发明实施例的技术方案是这样实现的：

根据本发明实施例的一方面，提供一种运行MapReduce作业的方法，所述方法包括：

创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；

根据所述MapReduce对象中指定的MapReduce数据，生成相应的结构化查询语言SQL序列；其中，所述SQL序列中包括至少一个MapReduce任务；

根据有向无环图DAG将所述SQL序列进行发送。

上述方案中，所述对所述MapReduce作业描述文件进行解析，并生成相应的MapReduce对象，包括：

根据解析后的所述MapReduce作业描述文件，生成与所述MapReduce作业描述文件对应的INPUT对象、OUTPUT对象、MAPPER对象、REDUCER对象、TASK对象和RUN对象；

其中，所述INPUT对象、所述OUTPUT对象、所述MAPPER对象、所述REDUCER对象和所述TASK对象均为一个以上。

上述方案中，所述根据所述MapReduce对象中指定的MapReduce数据，生成相应的SQL序列，包括：

根据所述INPUT对象中指定的任务输入源数据，生成第一SQL序列；

根据所述MAPPER对象中指定的映射函数，对所述任务输入源数据进行映射运算，并生成第二SQL序列；

根据所述REDUCER对象中指定的化简函数，对所述任务输入源数据进行化简运算，并生成第三SQL序列；