[发明专利]一种基于MapReduce的分布式计算方法和装置

权利要求书

1.一种基于MapReduce的分布式计算方法，其特征是，包括如下步骤：

第1步，客户应用程序向MapReduce编译工具发出指令；

第2步，MapReduce编译工具将该指令编译为一个或多个作业；在数据库中查询该指令所对应的作业记录，以查询到的作业记录中的归约器数量作为相应作业的归约器数量；MapReduce编译工具将每个作业与对应的归约器数量一起提交给MapReduce软件框架；

第3步，MapReduce软件框架按照接收的归约器数量处理每个作业，然后向MapReduce编译工具输出作业结果；

第4步，MapReduce编译工具将成功作业记录储存在数据库中，并将作业结果发送给客户应用程序和/或存储于分布式文件系统。

2.根据权利要求1所述的一种基于MapReduce的分布式计算方法，其特征是，所述方法第2步中，MapReduce编译工具将该指令编译为一个或多个作业后，为每个作业设置归约器数量；当在数据库中查询到该指令所对应的作业记录时，以查询到的作业记录中的归约器数量替换相应作业所设置的归约器数量。

3.根据权利要求1所述的一种基于MapReduce的分布式计算方法，其特征是，所述方法第2步中，MapReduce编译工具还对该指令去噪，并在数据库中查询该去噪后指令所对应的作业记录。

4.根据权利要求3所述的一种基于MapReduce的分布式计算方法，其特征是，所述方法第2步中，MapReduce编译工具还为去噪后的指令计算指纹值；MapReduce编译工具在数据库中查询去噪后的指令的指纹值所对应的作业记录。

5.根据权利要求1所述的一种基于MapReduce的分布式计算方法，其特征是，所述方法第2步中，MapReduce编译工具为每个作业设置中间数据的大小，还以在数据库中查询到的作业记录中的中间数据的大小替换相应作业所设置的中间数据的大小。

6.根据权利要求1所述的一种基于MapReduce的分布式计算方法，其特征是，所述方法第2步中，所述去噪是指将指令中的无关变化量与自定义量去除掉。

7.根据权利要求3所述的一种基于MapReduce的分布式计算方法，其特征是，所述计算指纹值是指对去噪后的指令采用任何具有唯一映射关系的函数计算函数值。

8.根据权利要求1所述的一种基于MapReduce的分布式计算方法，其特征是，所述数据库中记录有以往的成功作业记录；每个作业记录包括：该作业所对应的去噪后指令、该作业的编号、该作业采用的归约器数量。

9.根据权利要求4或8所述的一种基于MapReduce的分布式计算方法，其特征是，每个作业记录中，以该作业所对应的去噪后指令的指纹值，替代该作业所对应的去噪后指令。

10.根据权利要求5或6所述的一种基于MapReduce的分布式计算方法，其特征是，每个作业记录中，以该作业的归约器所处理的中间数据的大小，替代该作业采用的归约器数量。

11.一种基于MapReduce的分布式计算装置，其特征是，包括：

用于发送指令的装置；

用于将指令编译为一个或多个作业的装置；

用于在数据库中查询该指令所对应的作业记录的装置；

用于以查询到的作业记录中的归约器数量作为相应作业归约器数量的装置；

用于提交作业与对应的归约器数量的装置；

用于按照接收的归约器数量处理每个作业的装置；

用于输出作业结果的装置；

用于将成功作业记录储存在数据库中的装置；

用于将作业结果发送给客户应用程序和/或存储于分布式文件系统的装置。