[发明专利]一种数据库迁移方法、装置、电子设备及存储介质有效
申请号: | 201911276004.1 | 申请日: | 2019-12-12 |
公开(公告)号: | CN111104392B | 公开(公告)日: | 2021-11-02 |
发明(设计)人: | 张栋芳 | 申请(专利权)人: | 京东数字科技控股有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/23;G06F16/27 |
代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 王卫忠;李雪 |
地址: | 100176 北京市大兴区北京经*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据库 迁移 方法 装置 电子设备 存储 介质 | ||
本申请涉及一种数据库迁移方法、装置、电子设备及存储介质。其中所述数据库迁移方法,包括:获取源数据库中的待迁移数据;确定将所述待迁移数据迁移到目标数据库后,所述目标数据库中增加的第一迁入数据;其中,所述目标数据库至少包括一个;根据所述待迁移数据以及第一迁入数据进行迁移前后的数据量一致性校验。本申请实施例提供的上述技术方案与相关技术相比具有如下优点:相对于相关技术在对源数据库中的数据进行分库分表存储之后,会由于迁移后数据库数量、表的数量、每个表中的数据量的变化,导致迁移前后数据不一致;通过本申请中方法能够准确地对迁移的数据进行一致性校验,进而保障迁移前后数据的一致性。
技术领域
本申请涉及数据库技术领域,尤其涉及一种数据库迁移方法、装置、电子设备及存储介质。
背景技术
数据迁移(又称分级存储管理,hierarchical storage management,HSM)是一种将离线存储与在线存储融合的技术,将正在提供线上服务的数据从一个地方迁移到另一个地方。
数据迁移的过程大致可以分为抽取、转换、装载三个步骤。数据抽取、转换是根据新旧系统数据库的映射关系进行的,而数据差异分析是建立映射关系的前提,这其中还包括对代码数据的差异分析。转换步骤一般还要包含数据清洗的过程,数据清洗主要是针对源数据库中,对出现二义性、重复、不完整、违反业务或逻辑规则等问题的数据进行相应的清洗操作;在清洗之前需要进行数据质量分析,以找出存在问题的数据,否则数据清洗将无从谈起。数据装载是通过装载工具或自行编写的SQL程序将抽取、转换后的结果数据加载到目标数据库中。
在实现本发明的过程中发明人发现,对于分库数据表存储的数据,由于迁移后数据库数据量、表的数据量、每个表中的数据量均会发生变化,因此,现有数据迁移技术无法保证迁移前后数据的一致性。
针对相关技术中存在的诸多技术问题,目前尚未提供有效的解决方案。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请实施例提供了一种数据库迁移方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种数据库迁移方法,包括:
获取源数据库中的待迁移数据;
确定将所述待迁移数据迁移到目标数据库后,所述目标数据库中增加的第一迁入数据;其中,所述目标数据库至少包括一个;
根据所述待迁移数据以及第一迁入数据进行迁移前后的数据量一致性校验。
可选的,如前所述的方法,所述将所述待迁移数据迁移到目标数据库,包括:
确定所述源数据库中的第一数据表对应的第一自增标识;其中,所述第一数据表为所述待迁移数据中的数据表,同一所述源数据库中的第一数据表的第自增标识按序递增设置;
根据所述第一自增标识将所述第一数据表迁移到所述目标数据库。
可选的,如前所述的方法,所述根据所述第一自增标识将所述第一数据表迁移到所述目标数据库,包括:
根据所述第一数据表对应的第一自增标识,并按照预设次序对所述第一数据表进行读取;
依次将读取的所述第一数据表按照预设的迁移策略写入对应的目标数据库中。
可选的,如前所述的方法,根据所述待迁移数据以及第一迁入数据进行迁移前后的数据量一致性校验,包括:
根据所述待迁移数据生成第一Md5值;
根据所述第一迁入数据生成第二Md5值;
基于所述第一Md5值和第二Md5值进行所述迁移前后的数据量一致性校验。
可选的,如前所述的方法,还包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于京东数字科技控股有限公司,未经京东数字科技控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911276004.1/2.html,转载请声明来源钻瓜专利网。