[发明专利]一种基于电力系统的多源异构数据采集汇聚系统及方法

说明书

本发明涉及大数据技术领域，特别涉及一种基于电力系统的多源异构数据采集汇聚系统及方法，系统包括数据源配置模块、数据采集模块、工作流任务调度模块、任务监控模块、数据管理模块；所述数据源配置模块进行数据源类别的确定并根据确定的数据源类别进行数据源的采集；所述工作流任务调度模块对采集配置功能进行确定；所述数据采集模块利用所述采集后的数据源和所述确定后的采集配置功能进行数据采集；所述数据管理模块实现所述采集后数据的查询和预览。本发明的基于电力系统的多源异构数据采集汇聚系统及方法能减少数据采集的开发工作，快速定制采集任务，实现周期性或实时性数据采集汇聚从而达到开发高效、运行高效的目的。

技术领域

本发明涉及大数据技术领域，特别涉及一种基于电力系统的多源异构数据采集汇聚系统及方法。

背景技术

近年来，随着人工智能、大数据、智能电网等高新技术的高速发展，大数据的行业前景成为各电力企业共同面对的严峻考验和宝贵机遇。电力系统可以看作是高度复杂的处理能力直接决定电力系统应用场合的智能化程度。目前电力信息网中的多源异构大数据主要来源于四个方面：(1)海量电网运行状态信息采集数据；(2)海量电力设备运行状态数据；(3)图像识别技术的应用；(4)缺陷文本日志的记录。电力系统的多源异构数据具有以下特点：(1)混合型数据：包括结构化和非结构化数据；(2)数据离散性：数据分布在不同的系统或者平台；(3)数据量大：业务系统或平台数据量庞大；(4)数据质量参差不齐：不同平台的数据质量不一致。

多源异构数据采集汇聚的本质是对多源异构数据进行信息分析处理上进行采集汇聚，从而加快数据的处理速度和分析精度。当前，电力大数据采集汇聚在电力市场、居民用电消费、电力系统安全评估、电网灾害预警等各个领域都具有广泛的应用，但分析和研究多源异构数据的采集汇聚技术就显得非常重要。

专利号201310723548.4的专利说明书中公开了一种基于数据仓库的异构大数据整合方法与系统，该方法通过建立结构化数据、半结构化数据及非结构化数据的关联关系，然后结合关系型数据库、分布式数据库以及内存数据库的各自优势，整合各类数据，最后基于数据仓库做深层次数据分析，不断深化数据挖掘进而实现高效、高质量的异构大数据分析处理。此方法主要针对结构化数据、半结构化数据和非结构化数据的整合，并未涉及到非实时性数据、日志数据以及互联网数据的采集汇聚，同时未涉及不同数据源之间的存储问题。

发明内容

本发明提供一种基于电力系统的多源异构数据采集汇聚系统，该系统可实现将不同数据结构，不同数据存储方式的数据通过任务调度的方式高效地汇聚到数据中心大数据平台进而实现数据地汇聚拉通。

本发明的又一目的在于提供一种基于电力系统的多源异构数据采集汇聚方法。

为实现以上发明目的，而采用的技术手段是：

一种基于电力系统的多源异构数据采集汇聚系统，包括数据源配置模块、数据采集模块、工作流任务调度模块、任务监控模块、数据管理模块；所述数据配置模块与所述数据采集模块连接，所述数据采集模块与所述工作流任务调度模块和所述数据管理模块相连接，所述数据采集模块和所述工作流任务调度模块与所述任务监控模块相连接；所述数据源配置模块进行数据源类别的确定并根据确定的数据源类别进行数据源的采集，将采集后的数据源传输到所述数据采集模块；所述工作流任务调度模块对采集配置功能进行确定，将确定后的采集配置功能传输到所述数据采集模块；所述数据采集模块利用所述采集后的数据源和所述确定后的采集配置功能进行数据采集，将采集后的数据传输到所述数据管理模块；所述数据管理模块实现所述采集后数据的查询和预览。