[发明专利]一种基于Flink的数据同步方法和系统

说明书

本发明提供了一种基于Flink的数据同步方法和系统，其中方法包括：数据同步核心模块获取Flink执行环境，从数据同步任务配置信息中找到源数据库任务配置信息，并找到Reader插件的名称，根据Reader插件的名称加载对应的Reader插件；从数据同步任务配置信息中找到目的数据库任务配置信息，并找到Writer插件名称，根据Writer插件名称加载对应的Writer插件；被加载的Reader插件获取源数据库对应的DataStream对象；被加载的Writer插件将DataStream对象与目的数据库相关联；数据同步核心模块调用Flink执行环境的execute方法完成Flink任务的构造和提交。

技术领域

本发明涉及大数据技术数据处理技术领域，尤其涉及一种基于Flink的数据同步方法和系统。

背景技术

数据同步就是将数据从源数据库迁移到目的数据库。这里所说的数据库既包括传统的关系型数据库，如MySQL、Oracle、SQLServer等，也包括分布式的非关系型数据库，如Hive、HDFS、HBase等，只要是按照一定格式存放数据的实体都可以被视为数据库。

目前现有的数据同步技术分为专用数据同步、通用数据同步和基于编程的数据同步三类。

专用数据同步：例如MySQL提供了从CSV文件导入MySQL表的命令行工具，开源工具Sqoop可以将完成HDFS和关系型数据库之间数据同步，但是无法完成关系型数据库之间的数据同步，也无法完成不同的HDFS文件系统之间的数据同步。因而传统的数据同步方法局限于特定的数据源，无法扩展支持新增数据源。

通用数据同步：阿里巴巴开源的数据同步工具DataX是一套可扩展的通用数据同步工具，可以支持多种数据源之间的数据同步，对于每种数据库的读写提供的插件，同时，用户可以根据需要编写新的插件，以支持其他类型的数据库的读写。但是，该工具只支持单机运行，无法分布式的执行，这样就不适用于大规模的数据迁移。

基于编程的数据同步：Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它主要由Java代码实现，具有吞吐量和低延迟的特性。利用Flink可以完成数据同步，但是必须借助编程实现Flink任务，非专业人员难以掌握。

发明内容

本发明旨在提供一种克服上述问题之一或者至少部分地解决上述任一问题的一种基于Flink的数据同步方法和系统。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种基于Flink的数据同步方法，包括：数据同步核心模块获取Flink执行环境；数据同步核心模块从数据同步任务配置信息中找到源数据库任务配置信息，从源数据库任务配置信息中找到Reader插件的名称，根据Reader插件的名称加载对应的Reader插件；数据同步核心模块从数据同步任务配置信息中找到目的数据库任务配置信息，从目的数据库任务配置信息中找到Writer插件名称，根据Writer插件名称加载对应的Writer插件；被加载的Reader插件获取源数据库对应的DataStream对象；被加载的Writer插件将DataStream对象与目的数据库相关联；数据同步核心模块调用Flink执行环境的execute方法完成Flink任务的构造和提交。