[发明专利]一种MapReduce系统

摘要

本发明提供一种MapReduce系统，包括Map节点、Shuffle节点和Reduce节点；Reduce节点，用于向Shuffle节点发送读写请求，读写请求中携带有Map节点标识信息以及Reduce节点标识信息；Shuffle节点，用于根据从Reduce节点接收到的读写请求中的Map节点标识信息，将读写请求发送给Map节点标识信息对应的Map节点；Map节点，用于根据从Shuffle节点接收到的读写请求中的Reduce节点标识信息和预设的Reduce节点与目标数据的对应关系，获得读写请求对应的目标数据，并将目标数据返回给Shuffle节点，以供Shuffle节点将目标数据返回给发送读写请求的Reduce节点，有效地提高了MapReduce系统中CPU资源和网络带宽资源等资源的利用率，并且提高了系统的性能。

主权项

一种映射化简MapReduce系统，其特征在于，包括映射Map节点、混洗Shuffle节点和化简Reduce节点；所述Reduce节点，用于向所述Shuffle节点发送读写请求，所述读写请求中携带有Map节点标识信息以及Reduce节点标识信息；所述Shuffle节点，用于根据从所述Reduce节点接收到的所述读写请求中的所述Map节点标识信息，将所述读写请求发送给所述Map节点标识信息对应的Map节点；所述Map节点，用于根据从所述Shuffle节点接收到的所述读写请求中的所述Reduce节点标识信息和预设的Reduce节点与目标数据的对应关系，获得所述读写请求对应的目标数据，并将所述目标数据返回给所述Shuffle节点，以供所述Shuffle节点将所述目标数据返回给发送所述读写请求的Reduce节点。