[发明专利]数据处理方法及系统

说明书

本申请公开了一种数据处理方法及系统，属于大数据领域，以动态生成有向无环图。所述方法包括：接收第一SQL操作指令；根据所述第一SQL操作指令生成第一有向无环图，所述第一有向无环图用于定义所述流式处理应用的逻辑处理计划，所述第一有向无环图包括输入节点、中间节点、输出节点和用于连接节点的有向边，所述输入节点对应所述事件源，每个所述中间节点对应一个数据集，所述输出节点用于输出结果数据，每个所述有向边对应一个运算逻辑；接收与所述第一有向无环图中指定节点对应的第二SQL操作指令；根据所述第二SQL操作指令对所述第一有向无环图进行修改。本申请用于大数据分析处理。

技术领域

本申请实施例涉及大数据的数据处理领域，特别涉及一种数据处理方法及系统。

背景技术

大数据(Big Data)指的是数据量大小规格超越传统数据库工具抓取、存储、管理和分析能力的大型数据集。大数据分为静态数据集和流式数据两种。在对静态数据集进行数据处理时，通常采用结构化查询语言(Structure Query Language,SQL)语句定义对静态数据集的处理逻辑，然后根据该处理逻辑以批处理的形式对静态数据集中的数据进行增加、删除、修改和查询之类的数据操作并反馈计算结果。

但在诸如视频网络监控、金融服务和传感监测之类的应用领域中，数据集不是静态数据集，而是实时生成的流式数据。此时需要采用流式处理应用对流式数据进行处理，该流式处理应用也可以通过SQL语句来定义。在相关技术中，对流式数据进行数据处理的方法包括：一、对于一个流式处理应用，首先用户采用数据定义语言(Data DefinitionLanguage,DDL)语言在流式处理系统中定义事件源，事件源是用于从外部数据源引入该流式处理应用需要处理的流式数据；二、用户采用DDL语言定义对该事件源的逻辑处理计划，该逻辑处理计划用于表示流式处理应用的计算逻辑；三、由流式处理系统根据逻辑处理计划生成多个计算任务并分配至多个计算节点来分布式执行。

在上述技术方案中，逻辑处理计划是一个有向无环图，该有向无环图包括输入节点、中间节点和输出节点，每个输入节点是一个事件源，每个中间节点是一个数据集，每个输出节点用于输出结果数据。在用户预先使用SQL语句对流式处理应用的逻辑处理计划进行定义后，该有向无环图在流式处理系统中一经构建就无法修改，不能满足不断变化的计算需求。

发明内容

为了解决现有技术的问题，本申请实施例提供了一种数据处理方法及系统，能够动态生成和/或修改有向无环图。所述技术方案如下：

一方面，提供了一种数据处理方法，所述方法包括：

接收第一SQL操作指令；

根据所述第一SQL操作指令生成第一有向无环图，所述第一有向无环图用于定义所述流式处理应用的逻辑处理计划，所述第一有向无环图包括输入节点、中间节点、输出节点和用于连接节点的有向边，所述输入节点对应事件源，所述事件源每个所述中间节点对应一个数据集，所述输出节点用于输出结果数据，每个所述有向边对应一个运算逻辑；

接收与所述第一有向无环图中的指定节点对应的第二SQL操作指令；

根据所述第二SQL操作指令对所述第一有向无环图进行修改；

通过所述至少一个计算节点根据所述第一有向无环图对所述流式数据进行处理。

另一方面，提供一种数据处理系统，所述系统包括管理节点和计算节点，其中：

所述管理节点，用于接收与事件源对应的第一SQL操作指令，所述事件源用于向流式处理应用输入数据集；并根据所述第一SQL操作指令生成第一有向无环图，所述第一有向无环图用于定义所述流式处理应用的逻辑处理计划，所述第一有向无环图包括输入节点、中间节点、输出节点和用于连接节点的有向边，所述输入节点对应所述事件源，每个所述中间节点对应一个数据集，所述输出节点用于输出结果数据，每个所述有向边对应一个运算逻辑；