[发明专利]一种监管数据自动化采集的方法

说明书

本发明公开一种监管数据自动化采集的方法，该方法首先通过在ETL组件中定义标准数据模型，用于将采集到的数据转换成数据网关的API接口定义的标准数据；然后设定数据源；接着基于SQL设定数据内容创建采集计划，设定采集周期制定定时任务，从数据源定时采集数据，并通过标准数据模型转换成标准数据；再根据设置的分片大小自动切分成数据分片，推送至数据网关；最后数据网关存储推送的数据分片，生成数据镜像，并对数据镜像分片后转发至监管系统。本发明实现自动化的数据采集并且将数据格式映射到标准数据模型，可应用于多数据库多系统的监管数据自动化采集，为监管数据自动化采集提供了一种新思路。

技术领域

本发明属于计算机数据处理领域，尤其涉及一种监管数据自动化采集方法。

背景技术

在监管系统中需要从资金系统、财务系统采集相关数据进行报表的分析与计算，现有技术大致为采用手动的方式逐一从所需要的企业资金系统，财务系统中获取相应的数据，然而该方法比较繁琐，费时费力，且准确率低，因此需要一种自动的数据采集技术，从企业的资金系统，财务系统进行数据采集、转化并将标准化数据推送至网关。

发明内容

本发明的目的在于针对现有技术的不足，提供一种监管数据自动化采集方法。

本发明的目的是通过以下技术方案来实现的：一种监管数据自动化采集的方法，该方法通过ETL组件定时采集数据，数据网关存储并转发数据到监管系统，形成单向数据流转心跳链路。

进一步地，包括以下步骤：

(1)在ETL组件中定义标准数据模型，用于将采集到的数据转换成数据网关的API接口定义的标准数据；

(2)配置需采集的数据库，设定数据源；

(3)ETL组件基于SQL设定数据内容创建采集计划，设定采集周期制定定时任务，从步骤(2)中的数据源定时采集数据，并通过步骤(1)定义的标准数据模型转换成标准数据；再根据设置的分片大小自动切分成数据分片，推送至数据网关；

(4)数据网关存储步骤(3)推送的数据分片，生成数据镜像，再对数据镜像分片并转发至监管系统。

进一步地，该方法使用HTTPS协议。

进一步地，所述数据网关的API接口为RESTful JSON API接口。

进一步地，所述ETL组件支持Oracle、SQL Server和MySQL。

进一步地，所述数据网关的API接口使用AES对称加密数据。

进一步地，所述定时任务在Windows系统中基于系统自带的服务计划运行。

进一步地，所述定时任务在linux系统基于crontab运行。

本发明的有益效果是：本发明首先在企业内网中部署ETL组件，该组件负责从企业的资金系统、财务系统自动进行数据采集、转化并将标准化数据推送至网关，实现自动化的数据采集并且将数据格式映射到标准数据模型，可应用于多数据库多系统的监管数据自动化采集，为监管数据自动化采集提供了一种新思路。

附图说明

图1为本发明的监管数据自动化采集方法的流程示意图；

图2为ETL组件中的临时数据示意图；

图3为监管系统自动化获取的监管数据示意图；

图4为监管系统从数据中分析的得到的部分日记账数据示意图；

图5为监管系统根据数据获得的统计表示意图；

图6为监管系统根据数据获得的综合统计表示意图。

具体实施方式