[发明专利]一种数据批流融合离线计算方法

说明书

本发明提供了一种数据批流融合离线计算方法，所述计算方法包括以下步骤：S1：调度策略及容错→S2：批处理模型平台通过一个底层引擎同时支持流处理和批处理→S4：基于MapReduce编程模型设计，基于MapReduce编程模型，MapReduce提供数据划分和计算任务调度功能。本发明通过统一的批流融合机制充分挖掘流式引擎的性能优势，并通过动态调整执行计划的方式来改善引擎的易用性，具备流计算的低延迟和批计算的高吞吐高稳定性，提供统一编程接口开发两种场景的应用并保证它们的底层执行逻辑是一致的，解决复杂组件重复开发、上下游反压、数据压缩、内存零拷贝等问题，从而能够大大减少开发和维护的成本。

技术领域

本发明涉及分布式数据处理技术领域，尤其涉及一种数据批流融合离线计算方法。

背景技术

过去的十年是企业的IT系统经历了数据量高速膨胀的时期，这些海量的、分散在不同角落的异构离线数据导致了数据资源利用的复杂性和管理的高难度；

目前数据处理调度模式是申请到一个作业所需要的全部资源，然后同时调度这个作业的全部任务，所有的任务之间采取流水线的方式进行通信，批作业也可以采取这种方式，并且在性能上也会有很大的提升；

现有技术存在以下不足：现有的数据处理调度模式在资源分配的时机和粒度上都有一定的差异，导致了调度架构上无法完全统一，需要开发人员维护两套逻辑，且目前调度方式的物理执行计划是静态的，而静态生成物理执行计划存在调优人力成本高、资源利用率低等问题。

发明内容

本发明针对现有技术的不足，提供了一种数据批流融合离线计算方法。

本发明通过以下技术手段实现解决上述技术问题的：一种数据批流融合离线计算方法，所述计算方法包括以下步骤：

S1：调度策略及容错

批流融合作业在任务调度上的不同，故处理作业的多个任务并不需要同时在线，可以根据依赖关系先调度一批任务，等它们结束后再运行另一批；

优选的，批处理通常依赖中间结果的持久化来减小需要重算的任务范围，因此引入了可插拔的Shuffle Service来提供Suffle数据的持久化以支持细粒度的容错恢复。

S2：计算模型及算法

批流融合处理还有个特点是不需要在计算时输出中间结果，只要在结束时输出最终结果，这很大程度上避免了处理多个中间结果的复杂性。

S3：批处理模型

优选的，平台通过一个底层引擎同时支持流处理和批处理，在流处理引擎之上，具有以下机制：

(1)检查点机制和状态机制：用于实现容错、有状态的处理；

(2)水印机制：用于实现事件时钟；

(3)窗口和触发器：用于限制计算范围，并定义呈现结果的时间。

S4：基于MapReduce编程模型设计

本方法的技术原理是基于MapReduce编程模型，MapReduce提供数据划分和计算任务调度功能；

其中，

优选的，数据划分：系统自动将一个作业待处理的大数据划分为很多个数据块，每个数据块对应一个计算任务，并自动调度计算节点来处理相应的数据块；

优选的，计算任务调度：负责分配和调度计算节点(Map节点或Reduce节点)，同时负责监控这些节点的执行状态，并负责Map节点执行的同步控制。

优选的，批处理模型在同一个流处理引擎之上，还存在另一套机制，用于实现高效的批处理：

(1)用于调度和恢复的回溯法；