[发明专利]支持远程拉取的多数据中心同步方法在审
申请号: | 202111596972.8 | 申请日: | 2021-12-24 |
公开(公告)号: | CN114281895A | 公开(公告)日: | 2022-04-05 |
发明(设计)人: | 吴春中;张浩阳 | 申请(专利权)人: | 成都索贝数码科技股份有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/242 |
代理公司: | 成都九鼎天元知识产权代理有限公司 51214 | 代理人: | 孙元伟 |
地址: | 610041 四*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 支持 远程 多数 中心 同步 方法 | ||
1.一种支持远程拉取的多数据中心同步方法,其特征在于,包括步骤:
在多数据中心之间进行数据同步时,依据用户SQL语句中所涉及的数据进行拉取,并以数据块为单位进行按需同步;并且,用户在进行降采样查询时,只同步相关统计信息,而不同步数据本身;
在对数据进行压缩过程中,获取数据块时无需解码,传输至目标库后也无需再次编码。
2.根据权利要求1所述的支持远程拉取的多数据中心同步方法,其特征在于,包括子步骤:
S1,本地数据库接收同步SQL语句,分析语句,判断是否需要远程拉取数据,如需拉取数据,则将语句传至远程数据库,并对SQL语句进行再次判定后拉取相应数据;
S2,将所需同步的数据块,传输至本地数据库;
S3,重新构建数据块统计信息的上下级关系。
3.根据权利要求2所述的支持远程拉取的多数据中心同步方法,其特征在于,在步骤S1中,包括子步骤:用户在本地数据库执行查询时,本地数据库会首先判断所查询的数据是否存在于本地数据库,如果存在则直接从本地数据库获取数据,如果不存在则以Data Page为单位向远程数据库发起数据同步并将对应层的数据块存放位置提前挪出。
4.根据权利要求3所述的支持远程拉取的多数据中心同步方法,其特征在于,所述DataPage都组织成64K的数据块。
5.根据权利要求2所述的支持远程拉取的多数据中心同步方法,其特征在于,在步骤S1中,所述需要拉取哪一层中的数据具体:如果语句为count(*),则只需拉取Hour-Chunck层对应数据即可,无需拉取下层数据。
6.根据权利要求2所述的支持远程拉取的多数据中心同步方法,其特征在于,在步骤S3中,远程数据库在收到远程同步请求后,会搜集这些数据块,搜集数据库块的过程实际就是顺序读取的过程。
7.根据权利要求6所述的支持远程拉取的多数据中心同步方法,其特征在于,在步骤S3中,搜集完毕后,数据库会采用列存方式打包数据,打包成块后,直接传输回用户的本地数据库。
8.根据权利要求1所述的支持远程拉取的多数据中心同步方法,其特征在于,在步骤S3中,包括子步骤:本地数据库在收到数据块后执行插入操作,并重新构建统计信息上下级关系。
9.根据权利要求2所述的支持远程拉取的多数据中心同步方法,其特征在于,所述对SQL语句进行再次判定后拉取相应数据具包括子步骤:如SQL语句是做降采样查询,且时间颗粒度为Second-Chunk层或Minute-Chuck层或Hour-Chunk层的整数倍,则只需拉取远程数据库中对应层及其上层的数据;如果SQL语句是查询具体源数据,则需以data-page为单位,拉取远程数据库中的数据,并在本地数据库中提前挪出位置。
10.根据权利要求2~9任一所述的支持远程拉取的多数据中心同步方法,其特征在于,所述本地数据库和远程数据库均根据时序数据本身自带顺序的特点,保留顺序写;并且按时间颗粒度进行统计信息分层,每一层之间直接访问,无需返回根节点或上层节点,所述统计信息按统一的数据块来进行管理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都索贝数码科技股份有限公司,未经成都索贝数码科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111596972.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种FPC模具冲头的加工方法
- 下一篇:一种资源配置方法、系统及存储介质