[发明专利]MapReduce应用的相关参数的配置方法和装置

权利要求书

1.一种基于分布式文件系统的MapReduce应用的相关参数的配置方法，包括：

接收第一MapReduce作业的处理请求；

获取历史MapReduce作业的作业特征属性；

从所述历史MapReduce作业的作业特征属性中查找到与所述第一MapReduce作业相关的第二MapReduce作业的作业特征属性；

根据所述第二MapReduce作业的作业特征属性配置所述第一MapReduce作业的相关参数。

2.根据权利要求1所述的方法，其中所述历史MapReduce作业的作业特征属性包括历史MapReduce作业的作业名称和以下中的至少一个：输入文件的路径、输入文件的大小、输出文件的路径、输出文件的大小、Map任务数和Reduce任务数。

3.根据权利要求1所述的方法，如果所述第一MapReduce作业是数据生成类型，则从所述历史MapReduce作业的作业特征属性中查找与所述第一MapReduce作业相关的第二MapReduce作业进一步包括：

从所述历史MapReduce作业的作业特征属性中查找到与所述第一MapReduce作业相似的第三MapReduce作业；

从历史MapReduce作业的作业特征属性中查找到以所述第三MapReduce的输出文件作为输入文件的第二MapReduce作业。

4.根据权利要求1所述的方法，如果所述第一MapReduce作业是数据消费类型，

则从所述历史MapReduce作业的作业特征属性中查找到与所述第一MapReduce作业相关的第二MapReduce作业进一步包括：

从所述历史MapReduce作业的作业特征属性中查找到与所述第一MapReduce作业相似的第二MapReduce作业。

5.根据权利要求3或4所述的方法，其中根据所述第二MapReduce作业的作业特征属性配置所述第一MapReduce作业的相关参数进一步包括：

根据所述第二MapReduce作业的输入文件的分片大小划分所述第一MapReduce作业的输入文件的数据块大小。

6.根据权利要求5所述的方法，其中根据所述第二MapReduce作业的输入文件的分片大小划分所述第一MapReduce作业的输入文件的数据块大小包括：将所述第一MapReduce作业的输入文件的数据块大小配置为所述第二MapReduce作业的输入数据分片大小的整数倍。

7.根据权利要求6所述的方法，其中根据所述第二MapReduce作业的作业特征属性配置所述第一MapReduce作业的相关参数进一步包括：

根据所述第二MapReduce作业的输入文件的分片大小确定所述第一MapReduce作业的Map任务数或Reduce任务数。

8.根据权利要求7所述的方法，其中根据所述第二MapReduce作业的输入文件的分片大小确定所述第一MapReduce作业的Map任务数或Reduce任务数进一步包括：

获取处理所述第一MapReduce作业的计算节点数和对应于每个计算节点的资源槽的数目；

将所述第一MapReduce作业的Map任务数或Reduce任务数配置为所有计算节点的资源槽的总数的整数倍。

9.根据权利要求3所述的方法，其中从所述历史MapReduce作业的作业特征属性中查找到与所述第一MapReduce作业相似的第三MapReduce作业包括：

以所述第一MapReduce作业的作业名称作为关键字在所述历史MapReduce作业的作业特征属性中进行查找；

响应于查找到一个与所述第一MapReduce作业具有相同作业名称的历史MapReduce作业，则确定该历史MapReduce作业为所述第三MapReduce作业；

响应于查找到多个具有相同作业名的历史MapReduce作业，则根据以下的至少之一确定与第一MapReduce作业相似的第三MapReduce作业：输出文件的路径、输出文件的大小和计算节点数目。