[发明专利]一种针对非易失性内存的Shuffle方法

权利要求书

1.一种针对非易失性内存的Shuffle方法，包括：

建立java的持久化内存访问接口以访问非易失性内存，所述方法还包括以下步骤：

步骤1)、每个Map任务的输出数据按照分区ID分别写入非易失性内存中的私有持久化缓冲区；其中，每个Map任务的每个分区ID分别对应一个私有持久化缓冲区；

其中，在数据写入时判断对应的所述私有持久化缓冲区是否存在，如存在对应的所述私有持久化缓冲区则判断所述当前私有持久化缓冲区是否满足数据大小，如满足数据大小则执行数据写入，如不满足数据大小或者不存在对应的所述私有持久化缓冲区则申请新的所述私有持久化缓冲区；

步骤2)、拉取Reduce任务对应的所述私有持久化缓冲区中的数据。

2.根据权利要求1所述的针对非易失性内存的Shuffle方法，利用所述私有持久化缓冲区与分区ID之间的关联判断所述私有持久化缓冲区是否存在。

3.根据权利要求1所述的针对非易失性内存的Shuffle方法，当一个私有持久化缓冲区写满时，记录所述私有持久化缓冲区及关联的分区ID，从而在每个Map任务的输出数据写入完成后，建立与所述Map任务关联的映射表。

4.根据权利要求3所述的针对非易失性内存的Shuffle方法，所述步骤2)进一步包括利用所述映射表执行数据拉取。

5.一种MapReduce编程方法，包括根据权利要求1至4中任一项所述的针对非易失性内存的Shuffle方法。

6.一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器运行所述程序时执行如权利要求5所述的方法。

7.一种计算机可读存储介质，包括存储在所述可读存储介质上的计算机程序，其中，所述程序执行如权利要求5所述的方法。