[发明专利]基于Redis的数据库数据聚合同步的方法有效

专利信息
申请号: 201710145129.5 申请日: 2017-03-13
公开(公告)号: CN106997378B 公开(公告)日: 2020-05-15
发明(设计)人: 徐长根 申请(专利权)人: 上海摩库数据技术有限公司
主分类号: G06F16/25 分类号: G06F16/25;G06F16/27
代理公司: 上海翰信知识产权代理事务所(普通合伙) 31270 代理人: 张维东
地址: 200233 上海市徐汇*** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 redis 数据库 数据 聚合 同步 方法
【权利要求书】:

1.一种基于Redis的数据库数据聚合同步的方法,用于将至少一个目标数据库数据聚合同步到一个聚合数据库中,其特征在于,包括以下步骤:

步骤1,使用同步程序从配置文件中加载各所述目标数据库的远程连接信息,读取所述目标数据库中的表结构,然后提取每个表的字段和主键信息,并在所述聚合数据库中创建相对应的表结构;

步骤2,所述同步程序扫描所有目标数据库表的数据,然后逐行计算得到每行数据的Key和Value;

步骤3,将步骤2中得到的Key和Value作为Redis的k-v缓存写入Redis中,将所有所述目标数据库表的每行数据拼装出标准的INSERT的SQL语句执行写入到所述聚合数据库中对应的表中;

步骤4,当所述目标数据库中表的数据发生变化时,执行步骤2,重新得到新Value和新Key,对于每行数据,判断Redis中是否存在与该行数据的新Key相同的Key,如果不存在,则该行数据执行步骤3,如果存在,则判断该行数据的新Value与Redis中存储的相对应的Value是否相同,如果不同,则将该行数据的新Value覆盖掉Redis中相对应的Value,同时将该行数据拼装出标准的UPDATE的SQL语句对所述聚合数据库中对应表中的行数据进行更新;

步骤5,将发生变化后的所有的目标数据库数据的表主键集合与步骤4得到的聚合数据库相应的表主键集合进行差集计算得到差集,如果所述差集中存在元素,则在所述聚合数据库中对应的表生成标准的DELETE的SQL语句删除所述聚合数据库中与所述目标数据库中已删除数据相应的数据。

2.根据权利要求1所述的基于Redis的数据库数据聚合同步的方法,其特征在于:

其中,步骤2中,所述同步程序根据数据库表的主键字段进行扫描。

3.根据权利要求1所述的基于Redis的数据库数据聚合同步的方法,其特征在于:

其中,步骤2中,每行数据的Key和Value计算方法:首先每行数据采用MD5算法得到一个唯一标识的字符串Value,然后利用表名拼接该行数据的主键字段值得到一个唯一的字符串Key。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海摩库数据技术有限公司,未经上海摩库数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201710145129.5/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top