[发明专利]MapReduce作业执行方法、节点设备及存储介质

说明书

本申请实施例提供一种MapReduce作业执行方法、节点设备及存储介质。在本申请实施例中，利用Sql语言的语法将用户提交的MapReduce作业的执行描述信息重新表达为Sql代码片段，结合反射调用方法，可实现在分布式Sql执行框架中执行MapReduce作业的目的，借助分布式Sql执行框架的优势，可提高MapReduce作业的执行性能。

技术领域

本申请涉及计算机技术领域，尤其涉及一种MapReduce作业执行方法、节点设备及存储介质。

背景技术

MapReduce(映射化简)是一种用于大规模数据并行化运算的编程模型和执行框架。MapRedeuce框架允许用户使用函数式编程的思想来表述业务逻辑，只要实现Map(映射)、Reduce(化简)即可提交分布式作业，而不用关心分布式并行化的细节。

MapReduce编程模型简单、用户使用java语言实现MapReduce框架提供的接口、编写Map和Reduce程序，就可以把作业提交到分布式计算系统中做分布式大数据计算，因此在很多分布式计算系统中得到广泛应用。但是，MapReduce作业的执行性能相对较差，这是业界迫切需要解决的问题。

发明内容

本申请的多个方面提供一种MapReduce作业执行方法、节点设备及存储介质，用以借助分布式Sql执行框架的优势执行MapReduce作业，提高MapReduce作业的执行性能。

本申请实施例提供一种MapReduce作业执行方法，适用于分布式计算系统中的节点设备，所述方法包括：获取MapReduce作业的执行描述信息，所述执行描述信息是用户按照MapReduce执行框架的接口要求使用java语言编写的；利用Sql语言的语法将所述执行描述信息重新表达为Sql代码片段；按照分布式Sql执行框架执行所述Sql代码片段，在所述Sql代码片段的执行过程中反射调用所述MapReduce作业需要的Map程序和Reduce程序，以完成所述MapReduce作业。

本申请实施例还提供一种节点设备，包括：存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：获取MapReduce作业的执行描述信息，所述执行描述信息是用户按照MapReduce执行框架的接口要求使用java语言编写的；利用Sql语言的语法将所述执行描述信息重新表达为Sql代码片段；按照分布式Sql执行框架执行所述Sql代码片段，在所述Sql代码片段的执行过程中反射调用所述MapReduce作业需要的Map程序和Reduce程序，以完成所述MapReduce作业。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处理器执行时，致使所述处理器能够实现本申请方法实施例中的步骤。

在本申请实施例中，利用Sql语言的语法将用户提交的MapReduce作业的执行描述信息重新表达为Sql代码片段，结合反射调用方法，可实现在分布式Sql执行框架中执行MapReduce作业的目的，借助分布式Sql执行框架的优势，可提高MapReduce作业的执行性能。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请示例性实施例提供的MapReduce执行框架中MapReduce作业的执行过程的示意图；

图2为本申请示例性实施例提供的由MapReduce作业的执行过程转化为分布式关系型编程模型的一种简单流程的示意图；

图3a为本申请示例性实施例提供的一种分布式Sql计算系统的硬件架构示意图；

图3b为本申请示例性实施例提供的执行单元的一种内部结构示意图；