[发明专利]一种基于Mapreduce的多GPU协同计算方法

说明书

技术领域

本发明涉及一种基于Mapreduce的多GPU协同计算方法，所属计算机软件应用领域。

背景技术

近年来在硬件技术推动下，图形处理器(GPU)的计算能力和可编程能力得到快速的发展，具有高度并行化计算的特点使得GPU不再局限于日常的图形处理任务，开始涉及更为广泛的高性能通用计算(GPGPU)领域。因为GPU拥有高性能的多处理器阵列与高带宽、隐藏延迟的显存系统，这使得在大量重复数据集运算和密集内存存取的计算应用上，GPU具有比传统CPU更具优势。而且常用数据和程序的计算都需要靠CPU来完成，对用户而言，如果过多的占用CPU的时间会使得用户运行大型程序或者进行比较大的数据计算时感觉计算机很慢，降低系统性能；GPU在普通用户中主要用于游戏或图形的计算，空闲时间明显多于CPU，因此适度使用GPU会带来良好的效果，即降低了CPU的占用时间，又能使处于过度空闲的GPU得到充分利用。

同样在高性能并行计算领域得到关注的热点是MapReduce海量数据处理框架，通过廉价的普通计算机集群我们能得到过去只有昂贵大型服务器才拥有的大规模数据计算能力，而且在稳定性和扩展性等方面比后者更好。现在MapReduce模型被应用于天文信息计算处理、海量病例存储分析、病毒库存储、网络检索服务等方面，解决数据爆炸式增长与计算机存储能力和计算能力不足之间的矛盾。

到目前为止很多对这两方面的研究都局限在某些方面，如针对单台计算机GPU协助CPU对算法和程序进行加速以及由多台计算机GPU组成的集群来进行分布式计算，不可否认这些方面都取得相当大的进展，但不足也是存在的。在面对规模越来越大的游戏和程序时单台计算机GPU加速并不能带来多么大的改观，数据海量的增长和计算机的计算能力之间的矛盾不会得到解决；同样普通分布式计算机GPU集群虽然在计算能力方面很不错，但是一旦出现节点故障或其他的问题，整个集群的性能会受到很大的影响：还有MapReduce模型进行Map和Reduce操作时需要频繁的CPU进行计算，有时甚至CPU占用率为百分之百，因此也非常必要使用GPU的参与来平衡系统的计算能力。

发明内容

由于MapReduce模型进行Map和Reduce操作时需要频繁的CPU计算，面对大量并行计算任务时，CPU占用率甚至达到百分之百。而GPU有比CPU更好的数据宽度和并行计算能力，适度使用GPU，即降低了CPU的占用时间，又能使用GPU的参与来平衡系统的计算能力。

本发明的目的是结合GPU技术和MapReduce技术的不同优势，在MapReduce并行编程的基础上，使用GPU的参与来平衡系统的计算能力，最终提供一种通过GPU计算和MapReduce技术融合编程模型支持大规模分布式并行计算的方法。

本发明所述的一种基于Mapreduce的多GPU协同计算方法，包括以下几个步骤：

1）首先，客户端向管理阶段传递任务请求。

2）然后，管理阶段中的命名节点NameNode负责管理文件系统的命名空间、计算阶段集群配置信息、存储块的位置等信息；工作追踪器JobTracker负责对计算任务进行启动和调度，并且能实现跟踪任务的执行情况和计算阶段的状态。

3）在计算阶段中：

①数据节点DataNode接收到来自命名节点NameNode的读写请求后，调用CPU，对海量数据进行读取扫描，再水平划分，分成M个固定大小的数据子集splits片段，M为自然数，通常其大小是根据计算系统中计算节点的个数以及数据划分结果所决定；

②空闲CPU的任务追踪器TaskTracker向工作追踪器JobTracker请求任务并得到响应之后，对M个数据子集split进行格式化，进一步分解成一批键/值对<key1,value1>；

③空闲GPU的任务追踪器TaskTracke向工作追踪器JobTracker请求任务并得到响应之后，对输入的每一个数据子集split，创建一个Map任务，将对应split中的每个记录<key1,value1>对作为输入并进行扫描，并将其针对GPU特定算法进行格式化，使用GPU的CUDA库实现一个局部组合器Combiner，产生并输出中间<key2,value2>键/值对；