[发明专利]基于流式数据处理的分布式数据采集系统

说明书

本发明涉及一种基于流式数据处理的分布式数据采集系统，包括有资金管理平台，资金管理平台内配置有若干业务主题库，资金管理平台通过Nifi模组连接有调度装置，调度装置配置有业务系统、财务数据库、网银接口、软件扩充模组，调度装置设置有若干处理模组，处理模组包括Jdbc数据源处理器、Sftp文件数据源处理器、本地文件数据源处理器、Rest接口处理器、API接口处理器、Kafka消息处理器、MQTT消息处理器、其他扩展处理器，调度装置配置有独立的防火墙模组。由此，能减少企业it基础设施投入，仅需部署1台或几台基于流式数据处理的分布式数据采集与分发设备即可完成过去十几台设备工作。

技术领域

本发明涉及一种数据采集系统，尤其涉及一种基于流式数据处理的分布式数据采集系统。

背景技术

企事业单位数字转型的最终目标是使企业能实时感知变化、实时分析变化、实时制定决策，数据自动化感知与抓取自然成为了数字转型的前提和基础，以企业资金管理为例，企业在进行资金管理过程中要对资金涉及的财务、税务、票据、出纳、中介、erp等各类系统数据进行收集、清洗，由于系统技术的异构性，数据结构形式也多种多样(如Rest接口、数据表及视图、binlog、消息队列等)，导致无法使用部署统一的系统设备高效完成数据的采集和分发。数据采集与分发过程往往需要几台甚至更多设备才可完成相关工作。

同时，新一代的资金管理系统在原先的资金可控性的基础上要求更强调可视性，通过数据的汇集和统计的分析将原先资金流所携带的业务信息得以沉淀。这对资金系统的数据集成能力和响应速度都提出了更高要求。

并且，目前主流的数据采集和分发需要应用到ETL系统及设备、基于CDC的数据处理系统及设备、基于API的数据处理系统及设备、基于数据服务总线的数据处理系统及设备。其中通过ETL系统设备进行整合的过程主要是对数据库表和视图进行定时汇总，缺少对实时数据的处理能力、采用C/S模式管理不够灵活。通过CDC加自定义系统和设备主要提供实时数据同步服务，对大数据量的定时数据处理缺少支持，并且小较大的数据开发量；通过API加自定义系统和设备主要实现定时对API接口数据进行读取和转换，针对不同接口开发工作大，对不同系统的接入相应速度慢、成本高。通过服务总线系统和设备进行数据接入和分发主要适合于接口型数据管理，其要求接入做大量的改稿、对大数据量大文件性能差。

目前，数字转型的最终目标是使企业能实时感知变化、实时分析变化、实时制定决策。过程需要采集大量外围系统的数据，现有技术缺乏统一的技术和监控管理，并需要大量的开发，大大提供了系统开发成本。灵活性差，技术栈复杂，其中设计C/S架构、B/S架构，存在开发难、管理难得问题。对于大数据量处理无法实现统一的分部署部署和负载均衡。

有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种基于流式数据处理的分布式数据采集系统，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于流式数据处理的分布式数据采集系统。

本发明的基于流式数据处理的分布式数据采集系统，包括有资金管理平台，其中：所述资金管理平台内配置有若干业务主题库，所述资金管理平台通过Nifi模组连接有调度装置，所述调度装置配置有业务系统、财务数据库、网银接口、软件扩充模组，所述调度装置设置有若干处理模组，所述处理模组包括Jdbc数据源处理器、Sftp文件数据源处理器、本地文件数据源处理器、Rest接口处理器、API接口处理器、Kafka消息处理器、MQTT消息处理器、其他扩展处理器，所述调度装置配置有独立的防火墙模组。

进一步地，上述的基于流式数据处理的分布式数据采集系统，其中，所述业务主题库能独立加载与更新。

更进一步地，上述的基于流式数据处理的分布式数据采集系统，其中，所述若干处理模组均配置有流程控制器。

更进一步地，上述的基于流式数据处理的分布式数据采集系统，其中，所述调度装置配置有独立的本地存储装置。