[发明专利]一种数据同步方法、装置及存储设备有效
申请号: | 201710166069.5 | 申请日: | 2017-03-20 |
公开(公告)号: | CN108628885B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 叶磊;顾峰;王博;罗根 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 同步 方法 装置 存储 设备 | ||
1.一种数据同步方法,其特征在于,包括:
为第一数据库的目标数据库表设置同步标识,所述同步标识用于指示在向所述第一数据库的所述目标数据库表新写入表项数据时,将新写入的表项数据同步到第二数据库;
监听第一数据库的写操作,其中,所述写操作包括向所述第一数据库的所述目标数据库表新写入表项数据的操作,所述第一数据库为表项型数据库;
根据所述写操作提取所述表项数据,并获取已配置的数据转换规则,并确定出该数据转换规则中指定的表项位置;
从表项数据中选择获取各个指定的表项位置的内容数据;
将选择获取的内容数据进行序列化处理,其中,是基于多维数据序列化为一个字符串的规则将选择获取的内容数据序列化后得到一个字符串;
提取序列化后的字符串中每一指定的表项位置对应的内容数据;
按照配置的数据转换规则所包括的从第一数据库中数据库表的表项位置到第二数据库中键值对的映射关系,依次将提取的每一个表项位置的内容数据映射为键值对所对应数据,得到符合所述第二数据库格式要求的同步数据;其中,所述配置的数据转换规则包括多个从第一数据库中数据库表的表项位置到第二数据库中键值对的映射关系;
将所述同步数据存储到所述第二数据库中,所述第二数据库为键值对key-value型数据库;其中,将所述同步数据存储到所述第二数据库包括:将根据多个从第一数据库中数据库表的表项位置到第二数据库中键值对的映射关系得到的各个同步数据,对应同步到多个第二数据库中,或者将根据多个从第一数据库中数据库表的表项位置到第二数据库中键值对的映射关系得到的各个同步数据,存储到第二数据库的不同存储位置;
其中,所述配置的数据转换规则包括从第一数据库中数据库表的表项位置到所述第二数据库中键值对的映射关系,在该映射关系中被允许对第二数据库的键值对数据结构中的键K值配置不同的表项位置。
2.如权利要求1所述的方法,其特征在于,所述监听第一数据库的写操作之前,还包括:
配置从第一数据库同步数据到第二数据库的数据转换规则。
3.如权利要求1所述的方法,其特征在于,所述根据所述写操作提取所述表项数据是指从所述写操作产生的数据记录信息中提取表项数据;所述数据记录信息为所述第一数据库的日志信息,所述日志信息用于记录所述写操作所写入的表项数据。
4.如权利要求1-3任一项所述的方法,其特征在于,在序列化得到一个字符串后,所述方法还包括:将序列化后的表项数据存储到消息队列中。
5.如权利要求1所述的方法,其特征在于,还包括:
若检测到业务读请求,选择从第一数据库和第二数据库中读性能高的数据库中读取数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710166069.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种复杂事件处理方法、系统及其装置
- 下一篇:一种音频文件推荐方法及装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置