[发明专利]一种数据批流融合离线计算方法

权利要求书

1.一种数据批流融合离线计算方法，其特征在于：所述计算方法包括以下步骤：

S1：调度策略及容错

根据多个任务的依赖关系先调度一批任务，结束后再运行另一批；

S2：批处理模型

平台通过一个底层引擎同时支持流处理和批处理，在流处理引擎之上，具有以下机制：

(1)检查点机制和状态机制：用于实现容错、有状态的处理；

(2)水印机制：用于实现事件时钟；

(3)窗口和触发器：用于限制计算范围，并定义呈现结果的时间；

S3：基于MapReduce编程模型设计

基于MapReduce编程模型，MapReduce提供数据划分和计算任务调度功能。

2.根据权利要求1所述的一种数据批流融合离线计算方法，其特征在于：所述步骤S1中，批流融合作业在任务调度上的不同，故处理作业的多个任务不需要同时在线。

3.根据权利要求2所述的一种数据批流融合离线计算方法，其特征在于：所述步骤S1中，批处理通常依赖中间结果的持久化来减小需要重算的任务范围，引入可插拔的ShuffleService来提供Suffle数据的持久化以支持细粒度的容错恢复。

4.根据权利要求3所述的一种数据批流融合离线计算方法，其特征在于：所述步骤S2中，批处理模型在同一个流处理引擎之上，还存在另一套机制：

(1)用于调度和恢复的回溯法；

(2)用于散列和排序的特殊内存数据结构：将一部分数据从内存溢出到硬盘上；

(3)优化器：缩短生成结果的时间。

5.根据权利要求4所述的一种数据批流融合离线计算方法，其特征在于：所述步骤S3中，数据划分：系统自动将一个作业待处理的大数据划分为很多个数据块，每个数据块对应一个计算任务，并自动调度计算节点来处理相应的数据块。

6.根据权利要求5所述的一种数据批流融合离线计算方法，其特征在于：所述步骤S3中，计算任务调度：负责分配和调度计算节点(Map节点或Reduce节点)，同时负责监控这些节点的执行状态，并负责Map节点执行的同步控制。

7.根据权利要求1-6任一项所述的一种数据批流融合离线计算方法，其特征在于：测试的批处理任务包括TeraSort和分布式散列连接。

8.根据权利要求7所述的一种数据批流融合离线计算方法，其特征在于：所述TeraSort测试：测量为1TB数据排序所用的时间，由以下几个阶段组成：

(1)读取阶段：从HDFS文件中读取数据分区；

(2)本地排序阶段：对上述分区进行部分排序；

(3)混洗阶段：将数据按照key重新分布到处理节点上；

(4)终排序阶段：生成排序输出；

(5)写入阶段：将排序后的分区写入HDFS文件。