[发明专利]一种数据同步的方法及装置在审
| 申请号： | 201910756835.2 | 申请日： | 2019-08-16 |
| 公开（公告）号： | CN110457397A | 公开（公告）日： | 2019-11-15 |
| 发明（设计）人： | 石祖恒;殷凇;李毅 | 申请（专利权）人： | 深圳前海微众银行股份有限公司 |
| 主分类号： | G06F16/27 | 分类号： | G06F16/27;G06F9/50 |
| 代理公司： | 11291 北京同达信恒知识产权代理有限公司 | 代理人： | 姚晓雨<国际申请>=<国际公布>=<进入 |
| 地址： | 518027广东省深圳市*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种数据同步的方法及装置，其中，方法包括：获取数据同步指令，数据同步指令用于指示从N个源数据库中获取数据并同步至目标数据库中，创建数据同步指令对应的Spark会话，并在Spark会话中创建与N个源数据库相对应的N个同步作业，针对任一个同步作业，根据数据同步指令中针对同步作业对应的源数据库的执行权重，从Spark会话对应的资源池中确定用于执行同步作业的计算资源，并调用计算资源从同步作业对应的源数据库中获取数据，将各同步作业获取的数据存储至目标数据库。该技术方案用以实现并行的数据同步方式，且无需从目标数据库中获取数据以执行数据合并作业，减少计算资源的消耗。 | ||
| 搜索关键词： | 同步作业 数据同步 获取数据 源数据库 目标数据库 计算资源 会话 指令 数据存储 数据合并 同步指令 资源池 权重 创建 调用 并行 消耗 | ||
【主权项】：
1.一种数据同步的方法，其特征在于，包括：/n获取数据同步指令，所述数据同步指令用于指示从N个源数据库中获取数据并同步至目标数据库中；N大于1；/n创建所述数据同步指令对应的Spark会话，并在所述Spark会话中创建与所述N个源数据库相对应的N个同步作业；/n针对任一个同步作业，根据所述数据同步指令中针对所述同步作业对应的源数据库的执行权重，从所述Spark会话对应的资源池中确定用于执行所述同步作业的计算资源，并调用所述计算资源从所述同步作业对应的源数据库中获取数据；/n将各同步作业获取的数据存储至所述目标数据库。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司，未经深圳前海微众银行股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910756835.2/，转载请声明来源钻瓜专利网。
