[发明专利]基于Redis的数据库数据聚合同步的方法

摘要

本发明提供了基于Redis的数据库数据聚合同步的方法，由于同步程序扫描目标数据库表的数据，计算每行数据的Key和Value，将其存储到Redis中，同时将该行数据写入聚合数据库，在目标数据库标数据发生变化时，同步程序重新计算目标数据库中每行数据的新Key和新Value，并查询Redis中是否存在与新Key相同的Key，从而对聚合数据库中数据进行更新，然后，对目标数据库数据同步完成的表主键集合与聚合数据库相应的表主键集合进行差集计算，通过判断差集中是否有元素来对聚合数据库中数据进行删除，本发明通过Redis来实现聚合同步过程中的增、改、删，从而将多个目标数据库数据聚合同步到一个聚合数据库中。

主权项

一种基于Redis的数据库数据聚合同步的方法，用于将至少一个目标数据库数据聚合同步到一个聚合数据库中，其特征在于，包括以下步骤：步骤1，使用同步程序从配置文件中加载各所述目标数据库的远程连接信息，读取所述目标数据库中的表结构，然后提取每个表的字段和主键信息，并在所述聚合数据库中创建相对应的表结构；步骤2，所述同步程序扫描所有所述目标数据库表的数据，然后逐行计算得到每行数据的Key和Value；步骤3，将步骤2中得到的Key和Value作为Redis的k‑v缓存写入Redis中，将所有所述目标数据库表的每行数据拼装出标准的“INSERT”SQL语句执行写入到所述聚合数据库中对应的表中；步骤4，当所述目标数据库中表的数据发生变化时，执行步骤2，重新得到新Value和新Key，对于每行数据，判断Redis中是否存在与该行数据的新Key相同的Key，如果不存在，则该行数据执行步骤3，如果存在，则判断该行数据的新Value与Redis中存储的相对应的Value是否相同，如果不同，则将该行数据的新Value覆盖掉Redis中相对应的Value，同时将该行数据拼装出标准的“UPDATE”SQL语句对所述聚合数据库中对应表中的行数据进行更新；步骤5，将发生变化后的所有的目标数据库数据的表主键集合与步骤4得到的聚合数据库相应的表主键集合进行差集计算得到差集，如果所述差集中存在元素，则在所述聚合数据库中对应的表生成标准的“DELETE”SQL语句删除所述聚合数据库中与所述目标数据库中已删除数据相应的数据。