[发明专利]调度运行数据省地同步方法、装置、系统、设备及介质

说明书

本申请公开了一种调度运行数据省地同步方法、装置、系统、设备及介质，该方法包括：运行地调侧的Flume程序，接收地调侧上传的数据并同步至省调侧的kafka消息通道；运行省调侧的Flume程序，读取kafka消息通道中的数据，并上传至省调侧HDFS平台。本申请提供了一种采用Flume+kafka+HDFS的解决方案，通过kafka进行中间传输，实现调度运行数据省地同步；通过采用Flume技术，能够实现断点续传，确保每个数据都能准确的被发送到kafka而不出现遗漏，通过采用kafka技术为电网数据提供一个分布式的基于发布/订阅模式的消息队列，确保地调运行数据能够实时传递到省调侧HDFS平台，降低了数据传输成本，提高了传输效率。

技术领域

本申请涉及通信技术领域，尤其涉及一种调度运行数据省地同步方法、装置、系统、设备及介质。

背景技术

地调和省调分别指的是地市局调度机构和省级调度机构，将地调侧运行数据上传至省调侧，以实现集中化的数据监管，是一项十分重要的工作。其中，地调服务器采集的数据通常为非结构化数据，非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。由于省调侧大数据平台和地市局往往有网络条件的限制，因此无法将从地调侧采集完成的数据直接发送到省调侧的分布式文件系统HDFS上，如此则不能实现省地数据同步。此外，数据从地调侧传输至省调侧往往需要经历复杂的过程，不仅数据传输成本高、效率低，且由于中间环节较多，也容易引发数据传输错误的问题。

发明内容

本申请的目的在于提供一种调度运行数据省地同步方法、装置、系统、设备及介质，以解决现有的调度运行数据无法实现省地同步，数据传输成本高、效率低且易出错的问题。

为实现上述目的，本申请提供一种调度运行数据省地同步方法，包括：

运行地调侧的Flume程序，接收地调侧上传的数据并同步至省调侧的kafka消息通道；

运行省调侧的Flume程序，读取kafka消息通道中的数据，并上传至省调侧HDFS平台。

进一步，作为优选地，在所述地调侧的Flume程序之前，还包括：

在地调侧部署Flume程序，并创建配置文件flume.properties；

对flume.properties进行配置，包括配置监控目录、文件解析、每次请求的最大读取和缓冲的字节数、每次批量传输到channel时的size大小、kafka集群服务器IP地址及端口号信息；

配置启停flume脚本，所述启停flume脚本能够根据Flume进程运行状态确定Flume程序的启动或停止。

进一步，作为优选地，所述的调度运行数据省地同步方法，还包括进行Kafkaproducer配置，包括：

设置生产者客户端能发送消息的最大值，指定Producer端用于缓存消息的缓冲区大小；

设置内存中存储Event的最大数、每个事务中存取Event的操作数量、添加或删除一个Event的超时时间，以及Channel中最大允许存储所有Event的总字节数。

进一步，作为优选地，在所述运行省调侧的Flume程序之前，还包括：

配置服务器IP地址及端口号、消费者可以获取的数据大小以及从每个分区里返回给consumer的最大数据量；

配置文件保存到HDFS平台的位置，以及创建的新文件的命名格式。

进一步，作为优选地，所述的调度运行数据省地同步方法，还包括：

配置判断当前文件写入Event达到所述最大数据量后触发滚动创建新文件；