[发明专利]一种基于Flink的数据同步方法和系统

权利要求书

1.一种基于Flink的数据同步方法，其特征在于，包括：

数据同步核心模块获取Flink执行环境；

所述数据同步核心模块从数据同步任务配置信息中找到源数据库任务配置信息，从源数据库任务配置信息中找到Reader插件的名称，根据所述Reader插件的名称加载对应的Reader插件；

所述数据同步核心模块从所述数据同步任务配置信息中找到目的数据库任务配置信息，从目的数据库任务配置信息中找到Writer插件名称，根据所述Writer插件名称加载对应的Writer插件；

被加载的Reader插件获取源数据库对应的DataStream对象；

被加载的Writer插件将DataStream对象与目的数据库相关联；

所述数据同步核心模块调用所述Flink执行环境的execute方法完成Flink任务的构造和提交；

其中：

所述被加载的Reader插件获取源数据库对应的DataStream对象包括：

新建InputFormat实现类的对象；

调用TypeExtractor的getInputFormatTypes方法，传入所述InputFormat实现类的对象作为参数，获得TypeInformation对象；

调用InputFormatSourceFunction类的构造方法，传入所述InputFormat实现类的对象和所述TypeInformation对象作为构造方法的参数，获得InputFormatSourceFunction对象；

调用StreamExecutionEnvironment对象的addSource方法，传入所述InputFormatSourceFunction对象和所述TypeInformation对象作为参数，获得DataStream对象；

所述被加载的Writer插件将DataStream对象与目的数据库相关联包括：

新建OutputFormat实现类的对象；

调用OutputFormatSinkFunction类的构造方法，传入所述OutputFormat实现类的对象作为参数，获得OutputFormatSinkFunction对象；

调用所述DataStream对象的addSink方法，传入所述OutputFormatSinkFunction对象作为参数，将所述DataStream对象与目的数据库进行关联；

所述数据同步核心模块获取Flink执行环境包括：

所述数据同步核心模块调用StreamExecutionEnvironment类的getExecutionEnvironment方法获取Flink执行环境，设置所述Flink执行环境的任务并发数taskNumber。

2.一种基于Flink的数据同步系统，其特征在于，包括：

数据同步核心模块，用于获取Flink执行环境；从数据同步任务配置信息中找到源数据库任务配置信息，从源数据库任务配置信息中找到Reader插件的名称，根据所述Reader插件的名称加载对应的Reader插件；从所述数据同步任务配置信息中找到目的数据库任务配置信息，从目的数据库任务配置信息中找到Writer插件名称，根据所述Writer插件名称加载对应的Writer插件；

被加载的Reader插件，用于获取源数据库对应的DataStream对象；

被加载的Writer插件，用于将DataStream对象与目的数据库相关联；

所述数据同步核心模块，还用于调用所述Flink执行环境的execute方法完成Flink任务的构造和提交；

其中：所述被加载的Reader插件通过如下方式获取源数据库对应的DataStream对象：

所述被加载的Reader插件，还用于新建InputFormat实现类的对象；

所述数据同步核心模块，还用于调用TypeExtractor的getInputFormatTypes方法，传入所述InputFormat实现类的对象作为参数，获得TypeInformation对象；调用InputFormatSourceFunction类的构造方法，传入所述InputFormat实现类的对象和所述TypeInformation对象作为构造方法的参数，获得InputFormatSourceFunction对象；调用StreamExecutionEnvironment对象的addSource方法，传入所述InputFormatSourceFunction对象和所述TypeInformation对象作为参数，获得DataStream对象；

所述被加载的Writer插件通过如下方式将DataStream对象与目的数据库相关联：

所述被加载的Writer插件，还用于新建OutputFormat实现类的对象；

所述数据同步核心模块，还用于调用OutputFormatSinkFunction类的构造方法，传入所述OutputFormat实现类的对象作为参数，获得OutputFormatSinkFunction对象；调用所述DataStream对象的addSink方法，传入所述OutputFormatSinkFunction对象作为参数，将所述DataStream对象与目的数据库进行关联；

所述数据同步核心模块通过如下方式获取Flink执行环境：

所述数据同步核心模块，还用于调用StreamExecutionEnvironment类的getExecutionEnvironment方法获取Flink执行环境，设置所述Flink执行环境的任务并发数taskNumber。