[发明专利]一种应用于MYSQL BINLog变更数据的实时采集方法

说明书

本发明公开了一种应用于MYSQL BINLog变更数据的实时采集方法，属于大数据技术领域。本发明包括：1、在Excel中配置需采集的MYSQL数据库的数据库连接信息和采集字段信息，并配置用于解析Excel模板位置、Flink SQL脚本输出文件配置信息以及执行环境配置信息的配置文件；2、执行Flink_mysql脚本工具，自动生成Flink CDC采集脚本；3、将Flink CDC采集脚本上传到各Flink客户端节点执行任务发布。本发明通过简单的配置和工具自动生成采集代码，实现复杂且频繁的实时采集研发任务，将采集任务集成于现有的实时应用平台，充分利用集群资源，实现统一运维管理，降低维护成本。

技术领域

本发明属于大数据技术领域，具体涉及一种应用于MYSQL BINLog变更数据的实时采集方法。

背景技术

数据本身的价值是随着时间推移而降低的，只有推动数据的实时应用，才能及时、充分的利用数据的价值，让数据更好的为业务赋能，挖掘业务的数据价值。现有技术中，实时架构是以业务数据MYSQL和ORACLE为主要数据源，如何实时采集源系统的实时变更数据成为实时架构建设初期需要解决的难题。

早期架构受限于当时的技术环境和市场的技术成熟度影响，实时采集方案大多为基于MYSQL BINLog自身提供的BINLog API接口，自主研发的实时采集JAVA程序，这种方案的原理是：基于MYSQL BINLog提供的采集Binlog日志的API接口，开发JAVA应用小程序实现实时Binlog日志采集。但是该方案存在以下缺陷：

（1）独立于实时计算平台，维护成本较高；

（2）基于配置文件采集，采集库表高度耦合，启动程序会连带正常采集库表一同启动，造成历史采集短暂业务数据采集中断，一定程度造成业务连续性影响；

（3）资源浪费，当前采集程序部署在6个采集节点，采集任务分布不均，资源利用率较低，资源浪费严重；

（4）配置文件冗长，繁杂的配置文件，手动配置，容易误或者错配，导致启动采集任务时候，造成短暂的业务采集中断，一定程度上影响业务连续；

（5）采集密码，可逆配置到配置文件，具备数据库密码泄露风险。

随着架构变化、技术迭代，当前采集方案稳定和性能弊端较为突出，难以维持现有实时架构数据实时采集支撑。因此，采集方案技术革新，迫在眉睫。

发明内容

针对现有技术中存在的问题，本发明提供一种应用于MYSQL BINLog变更数据的实时采集方法，其目的在于：通过简单的配置和工具执行，即可实现难度复杂的实时采集任务，同时又跟现有的实时生态架构无缝结合，充分利用集群资源，统一运维和监控，实现采集任务集成于实时计算服务平台，解决原有采集方式诸多不合理的地方。

本发明采用的技术方案如下：

一种应用于MYSQL BINLog变更数据的实时采集方法，包括以下步骤：

步骤1：分别在Excel中的不同sheet中配置需采集的MYSQL数据库的数据库连接信息和采集字段信息，并配置对应的配置文件，所述配置文件用于解析Excel模板位置、FlinkSQL脚本输出文件配置信息以及所需的执行环境配置信息，仅打包成windows平台适配的exe应用程序的时候，配置一次即可；

步骤2：执行Flink_mysql脚本工具，实现Flink CDC采集脚本的自动生成；

步骤3：将自动生成的Flink CDC采集脚本上传到Flink客户端节点执行任务发布。

采用该技术方案后，Flink CDC采集脚本实时采集Excel中不同sheet的配置信息，研发人员只需要配置Excel模板中的配置信息即可，点击执行模板工具打包而成的适配windows平台的可执行软件exe文件，即可生成对应的脚本文件，用于实时平台应用发布。

优选的，步骤1具体包括以下步骤：