[发明专利]调度运行数据省地同步方法、装置、系统、设备及介质

权利要求书

1.一种调度运行数据省地同步方法，其特征在于，包括：

运行地调侧的Flume程序，接收地调侧上传的数据并同步至省调侧的kafka消息通道；

运行省调侧的Flume程序，读取kafka消息通道中的数据，并上传至省调侧HDFS平台。

2.根据权利要求1所述的调度运行数据省地同步方法，其特征在于，在所述地调侧的Flume程序之前，还包括：

在地调侧部署Flume程序，并创建配置文件flume.properties；

对flume.properties进行配置，包括配置监控目录、文件解析、每次请求的最大读取和缓冲的字节数、每次批量传输到channel时的size大小、kafka集群服务器IP地址及端口号信息；

配置启停flume脚本，所述启停flume脚本能够根据Flume进程运行状态确定Flume程序的启动或停止。

3.根据权利要求1所述的调度运行数据省地同步方法，其特征在于，还包括进行Kafkaproducer配置，包括：

设置生产者客户端能发送消息的最大值，指定Producer端用于缓存消息的缓冲区大小；

设置内存中存储Event的最大数、每个事务中存取Event的操作数量、添加或删除一个Event的超时时间，以及Channel中最大允许存储所有Event的总字节数。

4.根据权利要求1所述的调度运行数据省地同步方法，其特征在于，在所述运行省调侧的Flume程序之前，还包括：

配置服务器IP地址及端口号、消费者可以获取的数据大小以及从每个分区里返回给consumer的最大数据量；

配置文件保存到HDFS平台的位置，以及创建的新文件的命名格式。

5.根据权利要求4所述的调度运行数据省地同步方法，其特征在于，还包括：

配置判断当前文件写入Event达到所述最大数据量后触发滚动创建新文件；

配置Memory Channel缓冲池大小、内存中存储Event的最大数、每个事务中存取Event的操作数量以及Channel中最大允许存储所有Event的总字节数。

6.根据权利要求1所述的调度运行数据省地同步方法，其特征在于，所述接收地调侧上传的数据并同步至省调侧的kafka消息通道，包括：

接收地调侧上传的数据，经过防火墙同步至省调侧的kafka消息通道；其中，所述防火墙包括包过滤防火墙。

7.一种调度运行数据省地同步装置，其特征在于，包括：

数据接收单元，用于运行地调侧的Flume程序，接收地调侧上传的数据并同步至省调侧的kafka消息通道；

数据发送单元，用于运行省调侧的Flume程序，读取kafka消息通道中的数据，并上传至省调侧HDFS平台。

8.一种调度运行数据省地同步系统，其特征在于，包括：

地调侧和省调侧；所述地调侧和所述省调侧分别部署有Flume程序；其中，

地调侧的Flume程序用于接收地调侧上传的数据，并经过防火墙传输至kafka消息通道；所述防火墙包括包过滤防火墙；

地调侧的Flume程序用于读取kafka消息通道中的数据，并上传至省调侧HDFS平台。

9.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器，与所述处理器耦接，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一项所述的调度运行数据省地同步方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的调度运行数据省地同步方法。