[发明专利]基于GPU排序的MapReduce优化方法

摘要

本发明提出了一种基于GPU排序的MapReduce优化方法，其中MapReduce包含Map阶段、Shuffle阶段、以及Reduce阶段，Map阶段包含Spill过程和Merge过程，Reduce阶段包含Merge过程，其中，在Map阶段的Spill过程中采用基于GPU的快速排序流程，在Map阶段的Merge过程中和Reduce阶段的Merge过程中采用基于GPU的归并排序流程。通过以基于GPU的快速排序和归并排序算法替代传统的基于CPU的快速排序、归并排序和堆排序算法，提高中间数据处理速度，进而提升MapReduce的性能。

主权项

1.一种基于GPU排序的MapReduce优化方法，其中：MapReduce包含：Map阶段、Shuffle阶段、以及Reduce阶段，所述Map阶段包含Spill过程和Merge过程，所述Reduce阶段包含Merge过程，其特征在于，在所述Map阶段的Spill过程中采用基于GPU的快速排序流程，在所述Map阶段的Merge过程中和Reduce阶段的Merge过程中采用基于GPU的归并排序流程，其中：所述基于GPU的快速排序流程包含步骤：(1.1)将数据存入GPU的全局存储空间，并划分成m个互不重叠的数据块，每个数据块由一个线程块处理，共有m个线程块；(1.2)所述m个线程块并行地遍历对应的数据块，每个线程块内部n个线程并行地遍历相应数据块的一部分，并记录大于和小于分界值的元素的个数；(1.3)依次统计每个线程块内部的每个线程的相对计数值；(1.4)依次统计每个线程块的计数值和相对计数值；(1.5)所有线程进行数据交换，序列分成大于分界值和小于分界值的两个子序列：子序列1、子序列2；(1.6)对步骤(1.5)中产生的所述子序列1、所述子序列2分别再采用步骤(1.1)‑(1.5)进行排序，直到最终排序完成，即可实现对原始序列的排序，所述基于GPU的归并排序流程包含步骤：(2.1)将待归并的序列两两分组，分成h组，每组序列包含A_i和B_i两个序列，每次对一组序列A_i和B_i进行归并，其中1≤i≤h,A_i和B_i表示第i个分组包含的两个序列；(2.2)分别将A_i和B_i划分成m个子序列，每个线程块对A_i的一个子序列和B_i的一个子序列进行归并，共需进行log₂ m+1轮子序列的归并即可将序列A_i和B_i归并为一个有序序列C_i；(2.3)重复步骤(2.2)，直到所有分组的序列A_i和B_i归并完成，分别产生每个分组的归并结果C₁、C₂、……、C_h；其中1≤i≤h,A_i和B_i表示第i个分组包含的两个序列,C_i为A_i和B_i归并完成后产生的有序序列；(2.4)对h个分组的归并结果C₁、C₂、……、C_h，重复步骤(2.1)‑(2.3)进行归并，直到产生最终归并结果，在步骤(1.3)中，线程块B_k中的每个线程的计数值分别为L_k,1,...,L_k,n和R_k,1,...,R_k,n，则第i个线程的相对计数值分别为：和其中L_k,1和R_k,1分别表示线程块B_k中第1个线程遍历的数据中比分界值小的数据个数和比分界值大的数据个数，L_k,n和R_k,n分别表示线程块B_k中第n个线程遍历的数据中比分界值小的数据个数和比分界值大的数据个数，L_k,j和R_k,j分别表示线程块B_k中第j个线程遍历的数据中比分界值小的数据个数和比分界值大的数据个数，BL_k,i和BR_k,i分别表示线程块B_k中第i个线程的相对计数值，即该线程块中前i‑1个线程遍历的数据中比分界值小的数据总量和比分界值大的数据总量，在步骤(1.4)中，线程块B_k的计数值分别为和线程块B_k的相对计数值分别为:和其中L_k、L_j和R_k、R_j分别表示线程块B_k和B_j遍历的数据块内小于分界值的数据总量和大于分界值的数据总量，SL_k和SR_k分别表示线程块B_k之前的k‑1个线程块遍历的数据块中小于分界值的数据总量和大于分界值的数据总量，在以上公式中，1≤k≤m、1≤i≤n。