[发明专利]处理数据的方法和装置

说明书

本发明实施例公开了一种处理数据的方法，该方法在包括至少一个计算节点和至少一个化简节点的系统中执行，每个计算节点中配置有K个传输链路，该至少一个化简节点上运行K个化简任务，K个传输链路与K个化简任务一一对应，K个化简任务与K个数据类型一一对应，每个化简任务用于对所对应的数据类型的数据进行化简处理，K≥2，该方法包括：计算节点获取待处理数据，待处理数据是在计算节点中运行的至少两个计算任务生成的，待处理数据包括至少两种子数据，该至少两种子数据的数据类型相异；计算节点根据第一子数据的数据类型传输第一子数据，其中，用于传输第一子数据的第一传输链路与第一子数据的数据类型相对应。

技术领域

本发明涉及数据处理领域，并且更具体地，涉及一种处理数据的方法和装置。

背景技术

在大数据处理的并行计算技术中，映射化简MapReduce系统具有相当重要的作用。MapReduce的数据处理流程可以划分为两个阶段：映射Map阶段和化简Reduce阶段。一般地，从Map的输出到Reduce的输入的过程为又可以称为混洗Shuffle阶段。

图1是现有技术中MapReduce系统的工作原理图。如图1所示，在MapReduce系统中，一个作业(Job)会被分成大量的任务并行执行。首先是Map阶段，每个Map任务会从分布式文件系统(Hadoop Distributed File System)读取一段数据(即，分片)作为输入经map函数处理后输出存储到内存缓冲区(buffer)中，每个Map任务都有自己独立的buffer，并且buffer的大小已经预先定义。每个经map函数输出的中间数据在其对应的buffer中进行分区(partition)、归并(merge)、排序(sort)和溢写(spill)操作后，最终会生成一个输出文件(outputfile)和输出文件的索引文件(indexfile)，其中，索引文件用于记录输出文件的存储位置信息。这样，当多个并行的map任务结束后，就会有多个输出文件和与多个输出文件一一对应的索引文件。接下来，作业执行从Map阶段进入Reduce阶段。

在Reduce阶段，Reduce任务通过索引文件从Map阶段生成的多个输出文件中获取与自己的Reduce任务对应的分区的位置和大小，然后通过建立超文本传输协议(HyperText Transport Protocol，HTTP)连接完成中间数据的复制操作，将每个输出文件中与自己的reduce任务对应的分区中的中间数据进行复制。最终，Reduce任务经过对中间数据的化简操作，完成整个作业。

在整个复制过程中，Reduce任务与Map任务建立了大量的网络连接。实际上，对于M个Map任务、N个Reduce任务，若每个Reduce任务启用C个线程复制数据，极端情况下，建立的网络连接数量最大可以达到M·N·C。由此可见，MapReduce系统shuffle阶段的复制过程中需要建立大量的物理网络连接。

目前的现有技术，采用了两种方案对Shuffle阶段的复制过程进行优化。方案一在Map任务部分完成时就将输出的中间数据推送给Reduce任务，以使Map任务和Reduce任务的执行过程在时间上尽可能重叠，通过提前复制中间数据来消除所有Map任务都完成后大量数据等待复制而导致的网络连接爆发的状况。方案二是利用软件或硬件压缩技术，对Map任务输出的中间数据进行压缩来减少Shuffle阶段网络的数据传输量。

显然，尽管现有技术的方案对MapReduce系统Shuffle阶段的复制过程进行了优化，减少了复制过程中网络的数据传输量。但是，MapReduce系统Shuffle阶段的复制过程仍需要建立大量的传输链路，网络建链开销很大。

发明内容

本发明实施例提供一种处理数据的方法，能够减少处理数据过程中建立网络链路的数量，从而减小网络建链开销。