[发明专利]联机分析处理中分布式计算及查询海量数据的方法和系统

权利要求书

1.联机分析处理中分布式计算及查询海量数据的方法，该方法基于MapReduce框架，其特征在于包括如下步骤：

(1)根据用户指定对空间存储和查询时间的需求，计算出Map任务个数；

(2)MapReduce对要计算的大容量数据集进行分块，并将数据块分发到节点上；

(3)节点上的Map任务对其数据块计算并输出一个本地封闭立方体；

(4)用户请求查询，MapReduce将该查询提交到节点上的Map任务；

(5)Map任务对该节点上的本地封闭立方体进行查询，并返回对应的度量值；

(6)Reduce任务将各个返回的度量值聚合为一个值交给用户。

2.根据权利要求1所述的方法，其特征在于：所述数据块的个数等于所述Map任务的个数。

3.根据权利要求2所述的方法，其特征在于：所述本地封闭立方体与所述数据块是一一对应的，一个数据块只生成一个封闭立方体；一个封闭立方体也只来自一个数据块。

4.根据权利要求3所述的方法，其特征在于：所有所述本地封闭立方体总的大小由预计算Map任务的个数决定，并随着所述预计算Map任务的增加而减小，直至所有本地封闭立方体总的大小等于所述数据集的大小。

5.实现权利要求1～4任一项所述方法的系统，其特征在于：所述系统包括名字节点和数据节点，所述名字节点进行数据分块，分发数据块到各节点，并读写数据块，管理数据节点，并进行分布式计算任务的划分和调度；所述数据节点保存数据块，处理Map计算任务以及Reduce计算任务。