[发明专利]MapReduce计算框架下的可迭代式数据处理方法

摘要

本发明提出一种MapReduce计算框架下的可迭代式数据处理方法，包括以下步骤S10、读取原始数据，将原始数据解析成独立数据项；S20、采用Shuffle Grouping机制将所述输入数据分发至各线程或进程进行处理；S30、对数据进行哈希重组、排序，并采用Fields Grouping机制将排序后数据分发至各线程或进程；S40、各线程或进程实时对缓冲池中数据进行排序、分组；S50、将数据发送至线程或进程进行处理；S60、将返回的计算结果解析成独立数据项，重复步骤S20至S50，直至发出表示停止迭代的数据项。本发明可保持MapReduce的计算性能不因迭代而受到影响，也降低了虚拟机的创建和销毁的开销。

主权项

一种MapReduce计算框架下的可迭代式数据处理方法，包括以下步骤：S10、ReadNode从Hadoop分布式文件系统中读取原始数据，并将所述原始数据解析成独立数据项，以所述独立数据项作为MapNode的输入数据；S20、MapNode采用Shuffle Grouping机制将所述输入数据分发至MapNode的各线程或进程进行处理，对于每一所述独立数据项输出<key,value>格式数据；S30、ShuffleNode对<key,value>进行哈希重组、基于key值执行排序，并采用Fields Grouping机制将排序后的<key,value>分发至ShuffleNode的各线程或进程；S40、ShuffleNode的各线程或进程实时将<key,value>存入本地KVlist缓冲池，直至收到表示数据发送完毕的<key,value>，基于key值对KVlist缓冲池中的<key,value>进行排序、分组，对每一分组输出{i,<key,value_list>}格式数据，其中，i为当前线程或进程编号；S50、ReduceNode将{i,<key,value_list>}发送至其第i个线程或进程进行处理，输出<key’,value’>；S60、CoordinateNode接收并缓冲<key’,value’>直至接收到表示发送完毕的数据项，CoordinateNode将基于<key’,value’>的计算结果返回至ReadNode，ReadNode将所述计算结果解析成独立数据项，重复步骤S20至S50进行迭代，直至ReduceNode发出表示停止迭代的数据项，CoordinateNode退出；MapNode中的线程或进程数量即为Map数量；当MapNode接收到表示所述独立数据项发送完毕的数据项时，则输出表示数据项发送完毕的<key,value>。