[发明专利]基于MapReduce的数据传输方法和装置

权利要求书

1.一种基于MapReduce的数据传输方法，应用于Map端，包括：

执行Map任务，以生成计算结果文件，其中，所述计算结果文件中包括与Reduce端数目一致的分区及其对应的数据；

将所述计算结果文件上传至提供冗余存储的目标文件系统，以使对应的Reduce端响应于确定从所述Map端获取数据失败，通过所述目标文件系统获取所述计算结果文件中的与所述Reduce端对应的分区的数据，其中，所述目标文件系统按照预定的命名规则对所述计算结果文件进行命名，以及按照预定目录结构对所述计算结果文件进行存储。

2.根据权利要求1所述的方法，其中，所述计算结果文件包括索引文件和数据文件，所述数据文件用于记录数据，所述索引文件用于标识各分区的数据在所述数据文件中的起始位置和结束位置；以及

所述方法还包括：

向任务调度端发送所述计算结果文件的元数据信息，其中，所述元数据信息包括所述计算结果文件与Map端的对应关系。

3.根据权利要求2所述的方法，其中，所述预定的命名规则包括所述计算结果文件的名称中包括对应的Map端的标识，以及根据后缀区分所述计算结果文件的数据文件和索引文件。

4.根据权利要求1-3之一所述的方法，其中，所述预定目录结构包括树形结构，所述树形结构自顶向下包括应用的标识、属于应用的MapReduce过程的标识、属于MapReduce过程的Map任务的标识、属于Map任务的计算结果文件的标识。

5.一种基于MapReduce的数据传输方法，应用于Reduce端，包括：

响应于确定从与所述Reduce端对应的Map端获取数据失败，从提供冗余存储的目标文件系统获取与所述Reduce端对应的分区的数据，其中，所述目标文件系统按照预定目录结构存储有计算结果文件，所述计算结果文件中包括与Reduce端数目一致的分区及其对应的数据；

利用所获取的数据，执行Reduce任务，以生成所述MapReduce过程的最终结果。

6.根据权利要求5所述的方法，其中，在所述从文件系统获取与所述Reduce端对应的分区的数据之前，所述方法还包括：

从任务调度端获取与所述Reduce端对应的至少一个Map端的地址，其中，所述任务调度端存储有所述计算结果文件的元数据信息，所述元数据信息包括所述计算结果文件与Map端的对应关系；

根据所述至少一个Map端的地址，向所述至少一个Map端发送用于获取与所述Reduce端对应的分区的数据的数据获取请求。

7.一种基于MapReduce的数据传输装置，应用于Map端，包括：

第一生成单元，被配置成执行Map任务，以生成计算结果文件，其中，所述计算结果文件中包括与Reduce端数目一致的分区及其对应的数据；

上传单元，被配置成将所述计算结果文件上传至提供冗余存储的目标文件系统，以使对应的Reduce端响应于确定从所述Map端获取数据失败，通过所述目标文件系统获取所述计算结果文件中的与所述Reduce端对应的分区的数据，其中，所述目标文件系统按照预定的命名规则对所述计算结果文件进行命名，以及按照预定目录结构对所述计算结果文件进行存储。

8.一种基于MapReduce的数据传输装置，应用于Reduce端，包括：

第一获取单元，被配置成响应于确定从与所述Reduce端对应的Map端获取数据失败，从提供冗余存储的目标文件系统获取与所述Reduce端对应的分区的数据，其中，所述目标文件系统按照预定目录结构存储有计算结果文件，所述计算结果文件中包括与Reduce端数目一致的分区及其对应的数据；

第二生成单元，被配置成利用所获取的数据，执行Reduce任务，以生成所述MapReduce过程的最终结果。