[发明专利]一种数据同步ETL系统

摘要

本发明属于数据同步技术领域，具体为一种数据同步ETL系统。本发明系统包括如下功能模块上下文参数配置模块，同步接口定义模块，同步脚本生成模块，工作流配置模块，数据同步核心模块，日志、预警模块；其中，前三个模块是基础模块，按照模块的次序操作，生成同步脚本；工作流配置模块主要起到调度中心的作用，在工作流中配置同步脚本实现并行或串行执行、并行的进程数量、什么时间或条件下来触发任务；上述执行步骤中发生异常或错误任务时，日志预警模块将捕获错误原因，并通知到系统管理人员。本发明具有双向同步机制，支持配置多个上下文名称访问多环境下的数据源；同步方法覆盖面广，同时支持复杂的自定义同步方法，扩展性强。

主权项

一种数据同步ETL系统，其特征在于包括如下功能模块：上下文参数配置模块，同步接口定义模块，同步脚本生成模块，工作流配置模块，数据同步核心模块，日志、预警模块；模块之间的关系主要在两方面：（一）上下文参数配置模块、同步接口定义模块、同步脚本生成模块，是三个基础模块，按照模块的次序操作，生成同步脚本；生成的同步脚本中参数有来源于上下文参数配置模块中的上下文名称和其他参数、同步接口定义模块中定义的同步方法、需要同步的源和目标对应的表名称以及同步的条件；同步脚本生成模块在收到同步接口定义模块的请求后，根据传入的参数值，自动匹配同步方法名来生成同步脚本；（二）工作流配置模块主要起到调度中心的作用，在工作流中配置同步脚本实现并行或串行执行、并行的进程数量、什么时间或条件下来触发任务；并行任务中的分支配置成串行结构；调度中心中设置好调度时间，任务会在定义好的时间点自动触发执行，当工作流调取同步脚本发送请求到数据同步核心模块，同步核心模块收到请求后调用读取接口，通过上下文名称获取访问源和目标的数据连接，连接成功后读取数据记录，并将返回的结果集写入内存中，同时通知数据同步核心模块执行写入接口，将结果集写入目标数据源；上述执行步骤中发生异常或错误的任务，日志预警模块将捕获错误原因，并通知到系统管理人员；所述的数据同步ETL系统，其特征在于所述上下文参数配置模块，包括：上下文名称定义、源数据库和目标数据库连接的用户名和密码，以及数据库地址和端口；上下文名称的作用是区分多个数据连接源或反向同步数据到另外一个环境下，并用来获取不同的源数据库和目标的数据库连接用户名、密码、服务器地址、端口、实例；对于多数据源或反向模式，需要配置不同的上下文名称；每一个上下文名称包括：源和目标配置参数，参数包括数据库连接用户名、密码、数据库地址、端口、实例；在同步接口中指定上下文参数，参数值为在此定义的上下文名称，同步接口根据上下文名称获取源和目标的数据连接源。