[发明专利]一种基于硬件排序MapReduce的数据处理方法

说明书

技术领域

本发明是关于计算机领域，具体涉及云计算和并行计算领域，尤其一种基于硬件排序MapReduce的数据处理方法。

背景技术

MapReduce框架是云计算和大数据处理中普遍采用的一种分布式编程框架，当数据量很大时排序操作消耗的时间很长，而MapReduce通常用于大数据处理。如图1所示，在传统的MapReduce框架中，对中间结果数据的处理非常复杂，需要对数据进行四次排序操作，而基于CPU的排序操作性能不高，影响MapReduce整体性能的提升。

GPU因其强大的计算能力以及相对较低的性能价格比，通常用GPU替代CPU用以提高任务处理性能。使用GPU对MapReduce进行优化的方法主要有两类，一是与用户程序相关的优化方法，即对MapReduce框架进行扩展，使MapReduce程序执行过程中可以使用GPU设备替代CPU，提高程序执行效率；二是与用户程序无关的优化方法，即修改MapReduce框架或者组件，使MapReduce框架更好的发挥GPU性能，从而提高效率。

用户程序相关的优化方法需要用户参与进行任务分配，需要用户对程序的处理流程和GPU的编程规范非常熟悉，并且不同的用户程序之间优化方法不可重用。而现有的基于GPU排序的MapReduce优化方法只针对第一次排序过程的优化，即将基于CPU的快速排序算法替换成基于GPU的快速排序算法或者基于GPU的双调排序算法，而对于其他三次排序操作并不关注，对MapReduce性能的提升有限。

发明内容

本发明提出一种基于硬件排序MapReduce的数据处理方法，将MapReduce执行流程中的四次排序操作全部使用GPU执行，提高中间数据处理速度，进而提升MapReduce的性能。

为了达到上述目的，本发明采用的技术方案为：

一种基于硬件排序MapReduce的数据处理方法，包括以下步骤：

A、Map阶段，所述Map阶段包括如下子步骤：(1)数据读入(Read)，即从分布式文件系统中读入数据；(2)Map执行(Map)，即执行用户编写的Map()函数；(3)数据收集(Collect)，即将Map产生的结果存入缓冲区；(4)缓存溢写(Spill)，即将溢写文件采用基于GPU的快速排序方法进行排序，当缓存中数据量超过阈值时，将缓存中的数据写入本地硬盘；(5)溢写合并(Merge)，即多次缓存溢写会产生多个溢写文件，需要将所有的溢写文件采用基于GPU的归并排序的方法合并成一个输出文件。

B、Shuffle阶段，所述Shuffle阶段包括如下子步骤：(1)中间数据传输(Copy)，即将Map端的中间结果通过网络传输到Reduce端的缓冲区：(2)缓存溢写(Spill)，即Reduce端的缓冲区数据量超过阈值时，将缓冲区数据写入本地硬盘，每次写入形成一个shuffle文件。

C、Reduce阶段，所述Reduce阶段包括如下子步骤：(1)Shuffle文件合并(Merge)，即在Reduce端先将大量的shuffle文件采用基于GPU的归并排序方法合并形成少量的大文件，再采用基于GPU的归并排序方法将多个大文件合并形成一个有序的大文件；(2)Reduce执行(Reduce)：执行用户编写的Reduce()函数；(3)数据输出(Ourput)：将Reduce产生的结果输出到分布式文件系统。

优选的，基于GPU的归并排序方法包括以下步骤：A1：将待归并的序列两两分组，分成m组，每次对一组的两个序列A₁和B₁进行归并；A2：子序列归并前的准备；A3：子序列进入归并第一环节；A4：子序列进入归并第二环节；A5：重复步骤A3和A4直到序列A₁和B₁归并完成，输出归并结果C₁；A6：进行下一组序列A₂和B₂的归并，直到所有序列归并完成，产生结果归并结果C₂，...，C_m；其中C_i(1≤i≤m)表示原始序列A_i和B_i归并完成后产生的有序序列；A7：重复步骤(1)-(6)对归并结果C₁，C₂，...，C_m进行归并，直到产生最终归并结果。