[发明专利]用于数据库集群数据迁移的方法和系统在审
申请号: | 201611268170.3 | 申请日: | 2016-12-31 |
公开(公告)号: | CN108268542A | 公开(公告)日: | 2018-07-10 |
发明(设计)人: | 王海通;张琳 | 申请(专利权)人: | 中国移动通信集团河北有限公司;中国移动通信集团公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京东方亿思知识产权代理有限责任公司 11258 | 代理人: | 彭琼 |
地址: | 050021 *** | 国省代码: | 河北;13 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据库集群 数据迁移 复制 并行 计算节点 数据搬迁 数据抽取 点数据 接收源 目的端 打散 加载 调用 数据库 传输 | ||
1.一种用于数据库集群数据迁移的方法,其特征在于,包括:
接收源端数据库集群采用批量调用点对点数据复制方式并行复制过来的全部数据;
采用插入选择方式做数据重分布,将接收到的数据重新打散到计算节点上。
2.如权利要求1所述的方法,其特征在于,所述接收源端数据库集群采用批量调用点对点数据复制方式并行复制过来的全部数据,包括:
源端数据库集群采用批量调用数据库底层API接口复制方式,在目的端数据库集群中随机选取与所述源端数据库集群中的源端数据库服务器等量的目的端服务器,通过互信方式接收源端数据库集群中的源端数据库服务器并行复制的全部数据。
3.如权利要求2所述的方法,其特征在于,所述通过互信方式接收源端数据库集群中的源端数据库服务器并行复制的全部数据,包括:
源端数据库集群与目的端数据库集群间采用交换机互联,创建安全互信;
源端数据库集群中的源端数据库服务器并行抽取各个计算节点上的数据,批量导出DDL,目的端数据库集群中的目的端数据库服务器上创建与源端数据库服务器批量导出DDL对应的所有对象;通过源端数据库集群中部署的复制工具,将数据并行复制到目的端服务器的计算节点上。
4.如权利要求3所述的方法,其特征在于,所述目的端数据库集群中的目的端数据库服务器上创建与源端数据库服务器批量导出DDL对应的所有对象,包括:
获取源端数据库集群中的源端数据库服务器上的需要进行数据迁移的对象列表,基于所述对象列表,创建与源端数据库服务器批量导出DDL对应的所有对象。
5.如权利要求3所述的方法,其特征在于,所述通过源端数据库集群中部署的复制工具,将数据并行复制到目的端服务器的计算节点上,包括:
源端数据库集群中部署的复制工具访问源端数据库服务器后台实例的复制接口,通过该接口批量抽取和加载数据,直接将源端数据库服务器上的数据并行复制到目的端数据库服务器上。
6.如权利要求1所述的方法,其特征在于,所述采用插入选择方式做数据重分布,将接收到的数据重新打散到计算节点上,包括:
源端数据库服务器并行复制过来的数据直接加载到目的端数据库服务器新建的schema下,采用quicklz压缩随机分布的方式将数据存储,通过插入选择方式在目的端数据库服务器中做数据重分布,将接收到的数据重新打散到目的端数据库服务器计算节点上,并通过Greenplum内部的数据重分布机制,并行完成数据重分布工作。
7.一种用于数据库集群数据迁移的系统,其特征在于,包括:
接收模块,用于接收源端数据库集群采用批量调用点对点数据复制方式并行复制过来的全部数据;
数据重分布模块,用于采用插入选择方式做数据重分布,将接收到的数据重新打散到计算节点上。
8.如权利要求7所述的系统,其特征在于,所述接收模块包括:
接收单元,用于基于源端数据库集群采用批量调用数据库底层API接口复制方式,在目的端数据库集群中随机选取与所述源端数据库集群中的源端数据库服务器等量的目的端服务器,通过互信方式接收源端数据库集群中的源端数据库服务器并行复制的全部数据。
9.如权利要求8所述的系统,其特征在于,所述接收单元包括:
创建单元,用于在源端数据库集群与目的端数据库集群间采用交换机互联后,创建安全互信;
并行复制单元,用于在源端数据库集群中的源端数据库服务器并行抽取各个计算节点上的数据后,批量导出DDL,目的端数据库集群中的目的端数据库服务器上创建与源端数据库服务器批量导出DDL对应的所有对象;通过源端数据库集群中部署的复制工具,将数据并行复制到目的端服务器的计算节点上。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国移动通信集团河北有限公司;中国移动通信集团公司,未经中国移动通信集团河北有限公司;中国移动通信集团公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611268170.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于广域测量系统的分布式数据处理
- 下一篇:数据库采集方法和装置