[发明专利]一种基于元数据的流式数据处理系统

说明书

本发明提供了一种基于元数据的流式数据处理系统，属于数据处理技术领域。其技术方案为：一种基于元数据的流式数据处理系统，包括元数据管理模块，所述元数据管理模块能够根据数据的形态和存储方式定义元模型的结构；流程管理模块，包括流程管理组件及流程编排组件；流程调度模块，所述流程调度模块能够获取流程执行图，并根据所述流程执行图分配执行任务并发出相应的执行指令；流程执行模块，所述流程执行模块能够接收所述执行指令，并执行相应的所述执行任务，启动相应的算子开始计算。本发明的有益效果为通过可视化的方法对元数据定义、流程定义、流程编排，使用拖曳组件和模型驱动的逻辑来创建流式处理流程。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于元数据的流式数据处理系统。

背景技术

目前随着互联网、物联网技术飞速的发展，信息浏览、检索，物联网设备的数据上报，以及电子商务、互联网等很多常见的生活产品已经全部在线化。对于实时的要求进一步提升，而信息的交互和沟通正在从点对点往信息链甚至信息网的方向发展，这样必然带来数据在各个维度的交叉关联，数据爆炸已不可避免，因此流式处理应运而生，解决了实时框架和数据大规模计算的问题。

当前实时处理需要掌握各种大数据技术及流处理技术，对开发人员技能要求较高。当流式数据处理业务较多时，缺乏统一的管理，业务快速演进、需求快速变化，设计新的数据处理流程或者修改已有的流程无法迅速实施。

鉴于当前智慧安防、智慧城市、智慧农业、智慧交通等行业的飞速发展，积累了大量数据，这些数据的汇聚和治理，往往需要各平台自己完成，这就产生了大量重复工作，并且数据缺乏管理，难以充分利用。

这就需要一套适用于各行各业的通用流式数据处理系统，能够通过元数据的配置，动态完成数据的汇聚接口、存储、治理、推送、共享及可视化。在企业中，只要有数据存在的地方，就有其对应元数据，只有完整、准确的元数据存在，才能更好地理解数据，充分挖掘数据的价值，这样就可以使行业应用的研发把精力聚焦在业务本身，而不是繁琐的数据处理和治理方面。

发明内容

针对上述现有技术中的问题，本发明的目的在于提供一种基于元数据的流式数据处理系统，通过可视化的方法对元数据定义、流程定义、流程编排，使用拖曳组件和模型驱动的逻辑来创建流式处理流程。

本发明是通过如下技术方案实现的：一种基于元数据的流式数据处理系统，包括元数据管理模块，所述元数据管理模块能够根据数据的形态和存储方式定义元模型的结构；流程管理模块，包括流程管理组件及流程编排组件，所述流程编排组件嵌有流程编排交互界面，在所述流程编排交互界面通过拖放算子进行可视化流程编排，编排完成后形成流式处理流程及相应的流程元数据；所述流程管理组件能够获取所述流程元数据并解析为流程执行图；

流程调度模块，所述流程调度模块能够获取流程执行图，并根据所述流程执行图分配执行任务并发出相应的执行指令；

流程执行模块，所述流程执行模块能够接收所述执行指令，并执行相应的所述执行任务，启动相应的算子开始计算。

进一步，所述元模型包括：接口元模型、逻辑元模型、物理元模型；根据所述元模型定义相应的元数据的结构，所述元数据包括：接口元数据、逻辑元数据、物理元数据。

进一步，所述算子采用Flink或Springboot实现，包括：汇聚算子、转换算子、分发算子、聚合算子、推送算子。