[发明专利]一种应用于MYSQL BINLog变更数据的实时采集方法

权利要求书

1.一种应用于MYSQL BINLog变更数据的实时采集方法，其特征在于，包括以下步骤：

步骤1：分别在Excel中的不同sheet中配置需采集的MYSQL数据库的数据库连接信息和采集字段信息，并配置对应的配置文件，所述配置文件用于解析Excel模板位置、Flink SQL脚本输出文件配置信息以及所需的执行环境配置信息；

步骤2：执行Flink_mysql脚本工具，实现Flink CDC采集脚本的自动生成；

步骤3：将自动生成的Flink CDC采集脚本分别上传到Flink客户端节点并发布到实时计算服务平台。

2.根据权利要求1所述的一种应用于MYSQL BINLog变更数据的实时采集方法，其特征在于，步骤1具体包括以下步骤：

步骤1.1：配置Excel模板中的sheet名称为mysql_binlog的表格，配置需采集的MYSQL数据库的数据库连接信息；

步骤1.2：配置Excel模板中的sheet名称为mysql_column的表格，配置需采集的MYSQL数据库的表的采集字段信息；

步骤1.3：配置config.ini文件，指定需要解析的Excel模板位置、Flink SQL脚本输出文件配置信息以及所需的执行环境配置信息。

3.根据权利要求2所述的一种应用于MYSQL BINLog变更数据的实时采集方法，其特征在于，步骤2具体包括以下步骤：

步骤2.1 使用pyinstaller -F flk_mysql.py命令将工具代码打包成可适配windows平台执行的exe应用程序；

步骤2.2：运行exe应用程序，通过后端程序检测程序主目录下的config.ini文件，判断文件是否存在，不存在则提示弹框，显示config.ini配置文件不存在，存在则读取配置文件中配置的Excel模板文件路径和执行环境相关属性，并检测配置路径下的模板文件和相关参数的正确性，不正确则弹出相关异常提示，正常则读取Excel模板文件中的sheet名称为mysql_binlog的表格，获取采集模板生成所需要的mysql采集地址和库表信息，其次再读取Excel模板文件中的sheet名称为mysql_column中配置的mysql采集字段信息，将采集信息和字段信息作为入参传入模板函数，模板函数会将这些信息拼接成Flink SQL流表创建代码以及INSERT入数SQL代码写入到对应的SQL脚本文件，完成代码生成。

4.根据权利要求2所述的一种应用于MYSQL BINLog变更数据的实时采集方法，其特征在于，步骤3具体包括以下步骤：

步骤3.1：将工具生成的Flink SQL创建流表以及入数实时数仓接入层代码脚本上传到Flink On Yarn的客户端；

步骤3.2：调用Flink Table API启动jar包程序，将Flink SQL脚本作为入参传入jar包，完成流表创建及流式入数任务启动；

步骤3.3：通过Flink UI界面查看任务启动情况，以及通过Kafka消费流表，观察数据采集情况。