[发明专利]一种基于电力系统的多源异构数据采集汇聚系统及方法

权利要求书

1.一种基于电力系统的多源异构数据采集汇聚系统，其特征在于，包括数据源配置模块、数据采集模块、工作流任务调度模块、任务监控模块、数据管理模块；所述数据源配置模块与所述数据采集模块连接，所述数据采集模块与所述工作流任务调度模块和所述数据管理模块相连接，所述数据采集模块和所述工作流任务调度模块与所述任务监控模块相连接；所述数据源配置模块进行数据源类别的确定并根据确定的数据源类别进行数据源的采集，将采集后的数据源传输到所述数据采集模块；所述工作流任务调度模块对采集配置功能进行确定，将确定后的采集配置功能传输到所述数据采集模块；所述数据采集模块利用所述采集后的数据源和所述确定后的采集配置功能进行数据采集，将采集后的数据传输到所述数据管理模块；所述数据管理模块实现所述采集后数据的查询和预览；

所述的数据源配置模块根据不同的采集方式配置指定的数据源配置项实现所需数据源的配置，其中，所述指定的数据源包括实时数据源、结构化数据源、非结构化数据源、互联网数据源和日志数据源，所述不同的采集方式包括实时数据源采集方式、结构化数据源采集方式、非结构化数据源采集方式、互联网数据源采集方式和日志数据源采集方式；所述数据采集模块实现数据源配置模块信息的读取，并根据数据源配置信息实现特定方式的数据采集，其中，所述特定方式的数据采集在工作流任务节点配置指定，所述工作流任务节点是工作流中的一个节点，所述工作流由多个节点组成的，一个工作流的一次流转作为一次任务，所述任务支持shell、python、SQL开发语言自定义参数处理，所述自定义参数包括时间参数；所述工作流任务调度模块通过任务节点的方式实现将数据采集模块配置的采集功能挂载带工作流中；所述任务监控模块实现工作流节点、执行日志、数据采集量情况的监控；所述数据管理模块实现采集到数据的查询和预览。

2.根据权利要求1所述的基于电力系统的多源异构数据采集汇聚系统，其特征在于，所述的数据采集模块包括实时数据采集配置功能、结构化数据采集配置功能、非结构化数据采集配置功能、互联网数据爬取配置功能和日志数据采集配置功能；所述实时数据采集配置功能通过kafka管道topic及其采集策略，实现对kafka流式数据的采集；所述结构化数据采集配置功能能采集指定数据库表，制定全量采集或增量采集策略；所述非结构化数据采集配置功能可直接采集csv格式、txt文本半结构化数据，存储语音、图片格式的数据，并配置解析策略；所述互联网数据爬取配置功能可采集网址及界面采集标签项，将页面列表或详细信息采集入库，且支持插件上传和自定义解析页面；所述日志数据采集配置功能能配置相应的数据采集管道，定制采集策略，对数据日志进行采集入库。

3.一种利用权利要求1所述的基于电力系统的多源异构数据采集汇聚系统的方法，其特征在于，包括以下步骤：

S1.通过数据源配置模块确定采集方式和配置所需数据源，对数据源的接入方式及存储方式统一规划，将配置好的数据源传输至数据采集模块；

S2.通过工作流任务调度模块定义工作流任务，将定义好的工作流任务传输至数据采集模块，其中，工作流任务包括创建工作流、填写工作流名称、工作流编码、工作流任务描述；

S3.通过工作流任务调度模块定义任务节点，将定义好的任务节点传输至数据采集模块，其中，任务节点包括开始、采集数据、清洗数据、整合数据、输出数据、结束；

S4.利用步骤S2的工作流任务和步骤S3中的任务节点，在数据采集模块上对进行各类型数据接入方式的节点配置和数据采集，将采集完成的数据传输到数据管理模块，其中，各类型数据的接入方式包括实时数据的接入方式、结构化数据的接入方式、非结构化数据的接入方式、互联网数据的接入方式、日志数据的接入方式；

S5.任务调度监控模块对步骤S2中的工作流任务调度模块和步骤S3中的数据采集模块进行全程监测；

S6.利用数据管理模块对于步骤S5中所述的采集完成的数据进行查询和预览。

4.根据权利要求3所述的基于电力系统的多元异构数采集汇聚方法，其特征在于，所述步骤S4中的实时数据的接入方式为实时数据通过分布式消息队列的形式由Kafka分发。