[发明专利]一种数据同步方法、装置、系统、介质及电子设备

权利要求书

1.一种数据同步方法，其特征在于，包括：

对数据库中日志的记录和表结构进行变更检测，获取所述数据库日志的记录变更数据和表结构变更数据，并将所述记录变更数据和所述表结构变更数据按照检测时的先后顺序输入至消息队列中；

按照所述消息队列将所述记录变更数据依次向HBase数据控制写入模块发送，以使所述HBase数据控制写入模块根据所述记录变更数据生成Hbase记录，并写入HBase数据库中；

按照所述消息队列将所述表结构变更数据依次向Hive表结构同步模块发送，以使所述Hive表结构同步模块将所述表结构变更数据同步至数据仓库贴源层对应的Hive表上；同时，

当检测到所述数据库的日志的时间戳从当日切换至次日后，判断所述数据库日志当日的记录和表结构的变更检测是否完成；

当确定变更检测完成后，向所述HBase数据控制写入模块发送当日记录变更数据和表结构变更数据的写入指令；

当接收到所述HBase数据控制写入模块发送的当日记录变更数据和表结构变更数据写入完成的信息后，向数据加载模块发送控制信息，以使所述数据加载模块响应所述控制信息向所述Hive表结构同步模块同步所述当日记录变更数据。

2.根据权利要求1所述的数据同步方法，其特征在于，所述对数据库中日志的记录和表结构进行变更检测，获取所述数据库日志的记录变更数据和表结构变更数据，包括：

所述数据库日志的记录变更数据至少包括：DML操作类型、变更前记录数据、变更后记录数据以及事务提交时间戳，其中，

当所述DML操作类型为Insert时，所述变更前记录数据为空，所述变更后记录数据为新增的完整记录；

当所述DML操作类型为Update时，所述变更前记录数据为Update前的完整记录，所述变更后记录数据为Update后的完整数据；

当所述DML操作类型为Delete时，所述变更前记录数据为Delete前的完整数据，所述变更后记录数据为空。

3.根据权利要求1所述的数据同步方法，其特征在于，所述对数据库中日志的记录和表结构进行变更检测，获取所述数据库日志的记录变更数据和表结构变更数据，包括：

所述数据库日志的表结构变更数据至少包括：DDL操作记录、表结构变更数据以及事务提交时间戳，其中，

所述DDL操作类型至少包括：Add Column字段变更和Alter Column字段变更；

所述表结构变更数据至少包括：变更的字段名和字段数据类型；

所述事务提交时间戳为所述DDL操作所属数据库隐式事务的提交时间戳。

4.一种数据同步方法，其特征在于，包括：

接收从日志变更检测模块的消息队列依次发送的记录变更数据，所述记录变更数据至少包括变更前的记录数据、变更后的记录数据、事务提交时间戳、DML操作类型；

解析所述记录变更数据以获取源端记录主键，根据所述源端记录主键和所述事务提交时间戳生成HBase主键值；

生成包含有所述HBase主键值和所述记录变更数据的HBase记录，将所述HBase记录写入HBase数据库；

将所述HBase数据库中当日的HBase记录向数据加载模块发送，以使所述数据加载模块在接收到日志变更检测模块发送的向Hive表结构同步模块同步所述当日的HBase记录的控制信息后，将所述当日的HBase记录同步至数据仓库贴源层对应的Hive表上。

5.根据权利要求4所述的数据同步方法，其特征在于，所述生成包含有所述HBase主键值和所述记录变更数据的HBase记录，将所述HBase记录写入HBase数据库，包括：

从所述记录变更数据中提取出变更后的记录数据、事务提交时间戳、DML操作类型；

生成对应于所述变更后的记录数据的记录主键值，并根据事务提交时间戳确定出事务提交日期；

基于所述记录主键值和事务提交日期生成HBase主键值；

将所述HBase主键值、变更后的记录数据、事务提交时间戳以及DML操作类型生成HBase记录，并写入HBase数据库。