[发明专利]一种基于SQL Server的数据同步方法及系统

权利要求书

1.一种基于SQL server的数据同步方法，其特征在于，包括以下步骤：

S1：获取源表的数据变化；

S2：实时获取数据表的行级更改数据并记录；

S3：将变更的数据同步到Kafka中；

S4：实时消费Kafka中产生的数据，进行ETL操作；

S5：输出结果存储至目标表，获得业务统计分析的宽表，便于后台读取。

2.根据权利要求1所述的一种基于SQL server的数据同步方法，其特征在于：

执行步骤S1之前，开启源表的CDC功能。

3.根据权利要求1所述的一种基于SQL server的数据同步方法，其特征在于：

执行步骤S2时，通过捕获进程将变更数据捕获到变更表。

4.根据权利要求3所述的一种基于SQL server的数据同步方法，其特征在于：

执行步骤S2之前，建立变更表。

5.根据权利要求1所述的一种基于SQL server的数据同步方法，其特征在于：

执行步骤S4时，使用Spark去实时消费Kafka中产生的数据。

6.根据权利要求5所述的一种基于SQL server的数据同步方法，其特征在于：

执行步骤S4时，实时消费的数据数量至少为一个。

7.根据权利要求1所述的一种基于SQL server的数据同步方法，其特征在于：

执行步骤S5时，输出结果存储至MySQL的ods表中。

8.一种基于SQL server的数据同步系统，其特征在于，包括：

源表；

源连接器；

获取模块；

同步模块；

Kafka模块；

消费模块；

存储模块；

目标表；

获取源表的数据变化，源连接器通过获取模块实时获取数据表的行级更改数据并记录；将变更的数据通过同步模块同步到Kafka模块中，消费模块实时消费Kafka中产生的数据，进行ETL操作，存储模块将输出结果存储至目标表，获得业务统计分析的宽表，便于后台读取。

9.根据权利要求8所述的一种基于SQL server的数据同步系统，其特征在于：

还包括捕获模块，将变更数据捕获到变更表。

10.根据权利要求8所述的一种基于SQL server的数据同步系统，其特征在于：

还包括Spark模块，通过Spark模块对Kafka中产生的数据进行消费。