[发明专利]一种基于硬件排序MapReduce的数据处理方法在审
| 申请号： | 201710238164.1 | 申请日： | 2017-04-13 |
| 公开（公告）号： | CN107102839A | 公开（公告）日： | 2017-08-29 |
| 发明（设计）人： | 计晓斐;李建波;刘亮 | 申请（专利权）人： | 青岛蓝云信息技术有限公司 |
| 主分类号： | G06F7/36 | 分类号： | G06F7/36;G06F17/30 |
| 代理公司： | 青岛联信知识产权代理事务所37227 | 代理人： | 张媛媛 |
| 地址： | 266000 山东省青岛市*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种基于硬件排序MapReduce的数据处理方法。该方法包括将基于CPU的快速排序替换为基于GPU的快速排序；将基于CPU的归并排序替换为基于GPU的归并排序；将基于CPU的堆排序均替换为基于GPU的归并排序。用基于GPU的排序算法替代基于CPU的排序算法，充分利用GPU的强大计算能力，提高中间数据处理速度，进而提升MapReduce性能，该方法尤其适用于大数据领域。 | ||
| 搜索关键词： | 一种 基于 硬件 排序 mapreduce 数据处理 方法 | ||
【主权项】：
一种基于硬件排序MapReduce的数据处理方法，包括以下步骤：A、Map阶段，所述Map阶段包括如下子步骤：(1)数据读入(Read)，即从分布式文件系统中读入数据；(2)Map执行(Map)，即执行用户编写的Map()函数；(3)数据收集(Collect)，即将Map产生的结果存入缓冲区；(4)缓存溢写(Spill)，即将溢写文件采用基于GPU的快速排序方法进行排序，当缓存中数据量超过阈值时，将缓存中的数据写入本地硬盘；(5)溢写合并(Merge)，即多次缓存溢写会产生多个溢写文件，需要将所有的溢写文件采用基于GPU的归并排序的方法合并成一个输出文件；B、Shuffle阶段，所述Shuffle阶段包括如下子步骤：(1)中间数据传输(Copy)，即将Map端的中间结果通过网络传输到Reduce端的缓冲区；(2)缓存溢写(Spill)，即Reduce端的缓冲区数据量超过阈值时，将缓冲区数据写入本地硬盘，每次写入形成一个shuffle文件；C、Reduce阶段，所述Reduce阶段包括如下子步骤：(1)Shuffle文件合并(Merge)，即在Reduce端先将大量的shuffle文件采用基于GPU的归并排序方法合并形成少量的大文件，再采用基于GPU的归并排序方法将多个大文件合并形成一个有序的大文件；(2)Reduce执行(Reduce)：执行用户编写的Reduce()函数；(3)数据输出(0urput)：将Reduce产生的结果输出到分布式文件系统。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于青岛蓝云信息技术有限公司，未经青岛蓝云信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710238164.1/，转载请声明来源钻瓜专利网。
- 同类专利
- 一种基于硬件排序MapReduce的数据处理方法-201710238164.1
- 计晓斐;李建波;刘亮 - 青岛蓝云信息技术有限公司
- 2017-04-13 - 2017-08-29 - G06F7/36
- 本申请公开了一种基于硬件排序MapReduce的数据处理方法。该方法包括将基于CPU的快速排序替换为基于GPU的快速排序；将基于CPU的归并排序替换为基于GPU的归并排序；将基于CPU的堆排序均替换为基于GPU的归并排序。用基于GPU的排序算法替代基于CPU的排序算法，充分利用GPU的强大计算能力，提高中间数据处理速度，进而提升MapReduce性能，该方法尤其适用于大数据领域。
- 专利分类
