[发明专利]MapReduce计算框架的平台移植方法和装置

说明书

本发明提供一种MapReduce计算框架的平台移植方法和装置。该方法包括：获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，第一代码函数为采用当前平台的汇编语言编写的，且用原子操作实现的代码函数；获取与第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数；采用第二代码函数替换基于当前平台的MapReduce计算框架的代码中的第一代码函数，得到基于待植入平台的MapReduce计算框架。该方法和装置解决了现有MapReduce计算框架平台依赖性过强、无法在其他平台进行直接应用的问题。

技术领域

本发明涉及数据处理领域，尤其涉及一种MapReduce计算框架的平台移植方法和装置。

背景技术

映射归约计算框架(简称MapReduce计算框架)是一种编程模型，用于大规模数据集(大于1TB)的并行运算。该框架把一些数据密集型应用的数据处理过程简化抽象成映射(map)和归约(reduce)两个阶段。例如，将数据分片，任务调度，机器容错，机器间通信等数据处理过程简化抽象成map和reduce两个阶段，MapReduce框架通过将上述繁琐的数据处理细节隐藏起来，极大地简化了程序员的开发工作。程序员在使用MapReduce计算框架时，只需要为该MapReduce计算框架提供数据即可。

现有MapReduce计算框架是由斯坦福大学开发的基于X86平台的Phoenix，在执行过程中依赖X86平台的汇编语言(例如cmpxchgq等)以实现同步过程中的原子操作。当将MapReduce计算框架应用到基于无内部互锁流水级的微处理器(Microprocessor withoutinterlocked piped stages，简称MIPS)精简指令集等其他指令集的计算机平台时，由于汇编语言不同，导致原子操作无法正常执行，故而使得现有的MapReduce计算框架无法直接应用于其他平台，存在平台依赖性过强的问题。

发明内容

本发明提供一种MapReduce计算框架的平台移植方法和装置，用以解决现有MapReduce计算框架平台依赖性过强的问题。

本发明一方面提供一种MapReduce计算框架的平台移植方法，包括：

获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，所述第一代码函数为采用当前平台的汇编语言编写的，且用原子操作实现的代码函数；

获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数；

采用所述第二代码函数替换所述基于当前平台的MapReduce计算框架的代码中的第一代码函数，得到基于待植入平台的MapReduce计算框架。

如上所述的平台移植方法，所述获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，包括：

在所述基于当前平台的MapReduce计算框架的代码中，根据代码函数的功能标识，获取所述第一代码函数。

如上所述的平台移植方法，所述获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数，包括：

在代码函数库中，根据所述第一代码函数的功能标识和待植入平台的汇编语言的类型，获取所述第二代码函数；

其中，所述代码函数库中存储有多个代码函数、各代码函数的功能标识以及各代码函数所采用的汇编语言的类型。

如上所述的平台移植方法，所述第一代码函数包括至少一个第一子代码，所述获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数，包括：

为各所述第一子代码，获取与所述第一子代码具有相同功能的采用待植入平台的汇编语言编写的第二子代码；

根据各所述采用待植入平台的汇编语言编写的第二子代码，获取所述第二代码函数。