[发明专利]基于MapReduce的数据传输方法和装置

说明书

本申请实施例公开了基于MapReduce的数据传输方法和装置。该方法的一具体实施方式包括：执行Map任务，以生成计算结果文件，其中，该计算结果文件中包括与Reduce端数目一致的分区及其对应的数据；将该计算结果文件上传至提供冗余存储的目标文件系统，以使对应的Reduce端通过该目标文件系统获取该计算结果文件中的数据，其中，该目标文件系统按照预定的命名规则对该计算结果文件进行命名，以及按照预定目录结构对该计算结果文件进行存储。该实施方式避免了由于重计算而带来的计算资源消耗和时间花销，提升Shuffle过程的稳定性，并且具备较好的普适性。

技术领域

本申请实施例涉及计算机技术领域，具体涉及基于MapReduce的数据传输方法和装置。

背景技术

随着计算机技术的飞速发展，MapReduce分布式计算框架取得越来越广泛的应用。在Map(映射)和Reduce(规约)过程之间，需要Shuffle(洗牌)来实现数据从Map任务(Task)的输出到Reduce任务的输入的传输。由于Shuffle操作是连接Map过程和Reduce过程中必不可少的桥梁，且常常伴随着大量的网络传输和磁盘读写，因此Shuffle的性能往往直接影响整个MapReduce过程的性能和吞吐量。

实践中，节点故障、网络延迟、集群负载较高等原因会导致Shuffle过程中数据传输超时，从而Reduce端(Reducer)无法从Map端(Mapper)获取到所需的数据，进而使得Shuffle过程失败。相关的方式通常是利用MapReduce本身提供的容错机制，对Shuffle失败的任务执行重计算(即选取部分输入数据重新执行Map过程再接续此前被中断的Reduce过程)。

发明内容

本申请实施例提出了基于MapReduce的数据传输方法和装置。

第一方面，本申请实施例提供了一种基于MapReduce的数据传输方法，应用于Map端，该方法包括：执行Map任务，以生成计算结果文件，其中，计算结果文件中包括与Reduce端数目一致的分区及其对应的数据；将计算结果文件上传至提供冗余存储的目标文件系统，以使对应的Reduce端通过目标文件系统获取计算结果文件中的数据，其中，目标文件系统按照预定的命名规则对计算结果文件进行命名，以及按照预定目录结构对计算结果文件进行存储。

在一些实施例中，上述计算结果文件包括索引文件和数据文件，上述数据文件用于记录数据，上述索引文件用于标识各分区的数据在数据文件中的起始位置和结束位置；以及该方法还包括：向任务调度端(MapReduce任务调度器)发送计算结果文件的元数据信息，其中，元数据信息包括计算结果文件与Map端的对应关系。

在一些实施例中，上述预定的命名规则包括计算结果文件的名称中包括对应的Map端的标识，以及根据后缀区分计算结果文件的数据文件和索引文件。

在一些实施例中，上述预定目录结构包括树形结构，上述树形结构自顶向下包括应用的标识、属于应用的MapReduce过程的标识、属于MapReduce过程的Map任务的标识、属于Map任务的计算结果文件的标识。

第二方面，本申请实施例提供了一种基于MapReduce的数据传输方法，应用于Reduce端，该方法包括：响应于确定从与Reduce端对应的Map端获取数据失败，从提供冗余存储的目标文件系统获取与Reduce端对应的分区的数据，其中，目标文件系统按照预定目录结构存储计算结果文件，计算结果文件中包括与Reduce端数目一致的分区及其对应的数据；利用所获取的数据，执行Reduce任务，以生成MapReduce过程的最终结果。

在一些实施例中，在上述从文件系统获取与Reduce端对应的分区的数据之前，该方法还包括：从任务调度端获取与Reduce端对应的至少一个Map端的地址，其中，任务调度端存储有计算结果文件的元数据信息，元数据信息包括计算结果文件与Map端的对应关系；根据至少一个Map端的地址，向至少一个Map端发送用于获取与Reduce端对应的分区的数据的数据获取请求。