[发明专利]一种基于元数据的流式数据处理系统

权利要求书

1.一种基于元数据的流式数据处理系统，其特征在于，包括：

元数据管理模块，所述元数据管理模块能够根据数据的形态和存储方式定义元模型的结构；

流程管理模块，包括流程管理组件及流程编排组件，所述流程编排组件嵌有流程编排交互界面，在所述流程编排交互界面通过拖放算子进行可视化流程编排，编排完成后形成流式处理流程及相应的流程元数据；所述流程管理组件能够获取所述流程元数据并解析为流程执行图；

流程调度模块，所述流程调度模块能够获取流程执行图，并根据所述流程执行图分配执行任务并发出相应的执行指令；

流程执行模块，所述流程执行模块能够接收所述执行指令，并执行相应的所述执行任务，启动相应的算子开始计算。

2.根据权利要求1所述的基于元数据的流式数据处理系统，其特征在于，所述元模型包括：接口元模型、逻辑元模型、物理元模型；根据所述元模型定义相应的元数据的结构，所述元数据包括：接口元数据、逻辑元数据、物理元数据。

3.根据权利要求2所述的基于元数据的流式数据处理系统，其特征在于，所述算子包括：汇聚算子、转换算子、分发算子、聚合算子、推送算子。

4.根据权利要求3所述的基于元数据的流式数据处理系统，其特征在于，所述可视化流程编排具体步骤依次为：1、拖放所述源端数据的配置信息和所述汇聚算子至所述流程编排交互界面，关联所述源端数据与接口元数据得到接口模型；3、拖放所述转换算子，自动获取上级模型作为输入模型，如果存在下级模型则获取下级模型作为输出模型，不存在则匹配逻辑元数据获取选取模型，使用图形化配置输入模型与输出模型的关系，通过连线进行字段关联，形成映射规则；4、拖放所述分发算子，并配置所述聚合算子输入模型和输出模型，实现聚合开窗操作；5、拖放推送算子，配置输出模型，如果存在目标数据则读取目标物理模型；6、拖放目标数据的配置信息，配置物理模型，及目标数据类型、目标数据连接信息；7、通过图形化操作，将上述1-6步骤连线后形成流式处理流程。

5.根据权利要求4所述的基于元数据的流式数据处理系统，其特征在于，所述流程执行模块内部嵌有任务执行程序，所述任务执行程序接收到执行请求，启动执行相应的算子，并向所述算子发送执行参数；所述算子接收到执行参数后，与任务执行程序通信，获取接口元数据、逻辑元数据、物理元数据及映射规则；所述算子获取到元数据后开始进行计算；所述算子执行完毕后向所述任务执行程序发送完成或失败指令，并将计算结果传递到下一个节点运行的算子。

6.根据权利要求5所述的基于元数据的流式数据处理系统，其特征在于，所述流程管理模块还包括监控告警组件，所述任务执行程序定时监测所述算子的执行状态，并将所述执行状态反馈至所述监控告警组件；所述任务执行程序接收到完成或失败命令后，实时将信息上报到所述监控告警组件。

7.根据权利要求6所述的基于元数据的流式数据处理系统的流式数据处理方法，其特征在于，包括如下步骤：

S1、根据源端数据的类型和存储方式定义元模型结构，根据所述元模型定义元数据结构；

S2、新建流式处理流程，并通过可视化流程编排拖放算子对流程进行编排；

S3、选中所述流式处理流程中的转换算子，对所述转换算子的输入模型和输出模型进行图形化映射字段配置，生成映射规则；

S4、将配置好的流式处理流程上线；

S5、执行所述流式处理流程，向所述流程管理组件发送启动命令及流程元数据；

S6、流程管理组件接收到启动命令后， 将所述流程元数据解析为流程执行图，并将所述流程执行图发送至所述流程调度模块；

S7、所述流程调度模块为根据所述流程执行图为所述流程执行模块中分配一个或多个执行节点，并向该节点上的任务执行程序发送执行请求；

S8、任务执行程序接收到执行请求，执行相应的算子，并向该算子发送执行参数；

S9、算子程序接收到执行参数后，通过Rest协议与任务执行程序通信，获取接口元数据、逻辑元数据、物理元数据及映射规则；

S10、算子程序获取到元数据后，根据元数据自动生成转换代码和存储结果的SQL，开始进行计算；

S11、所述任务执行程序定时监测所述算子的执行状态，并将所述执行状态反馈至所述监控告警组件；

S12、算子程序执行完成后，向任务执行器发送完成或失败命令，并将结果集传递到下一个节点运行的算子；

S13、所述任务执行程序接收到完成或失败命令后，实时将信息上报到所述监控告警组件。