[发明专利]一种增量数据断点续传方法、装置、设备及存储介质

说明书

本发明实施例公开了一种增量数据断点续传方法、装置、设备及存储介质，所述方法包括：当数据迁移连接断开时，向目标数据库发送位置获取请求获取迁移事务节点位置，其中，迁移事务节点位置是目标数据库从接收到的迁移数据包中获取并存储的；根据迁移事务节点位置确定断点续传位置，并生成包含断点续传位置的重连请求，将重连请求发送至源数据库；当与源数据库重新建立连接时，获取源数据库基于断点续传位置发送的数据续传事务，并将数据续传事务发送到目标数据库进行迁移。本发明实施例提供的方法实现了数据库之间数据迁移时增量数据的断点续传，提高了数据迁移效率。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种增量数据断点续传方法、装置、设备及存储介质。

背景技术

随着互联网业务的不断发展，业务平台数据库的访问量不断增多、数据量持续累加，需要对现有的数据库进行扩容或者迁移。在扩容或者迁移过程中最关键的是数据库中数据的迁移。

在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：在数据同步工具进行数据同步的过程中，无法避免会遇到各种异常情况(源数据库故障、宕机、网络抖动、中断、迁移工具故障重启等)，造成正在同步中的任务终止，无法继续进行同步。需要将目标库已同步的数据清空后，再重新做数据同步，如果碰到分库分表或者数据量十分庞大的情况将会大大增加人力和时间成本。

发明内容

本发明实施例提供了一种增量数据断点续传方法、装置、设备及存储介质，以实现数据库中增量数据迁移时的断点续传。

第一方面，本发明实施例提供了一种增量数据断点续传方法，包括：

当数据迁移连接断开时，向目标数据库发送位置获取请求获取迁移事务节点位置，其中，迁移事务节点位置是目标数据库从接收到的迁移数据包中获取并存储的；

根据迁移事务节点位置确定断点续传位置，并生成包含断点续传位置的重连请求，将重连请求发送至源数据库；

当与源数据库重新建立连接时，获取源数据库基于断点续传位置发送的数据续传事务，并将数据续传事务发送到目标数据库进行迁移。

第二方面，本发明实施例还提供了一种增量数据断点续传装置，包括：

迁移事务节点位置模块，用于当数据迁移连接断开时，向目标数据库发送位置获取请求获取迁移事务节点位置，其中，迁移事务节点位置是目标数据库从接收到的迁移数据包中获取并存储的；

重连请求发送模块，用于根据迁移事务节点位置确定断点续传位置，并生成包含断点续传位置的重连请求，将重连请求发送至源数据库；

断点位置续传模块，用于当与源数据库重新建立连接时，获取源数据库基于断点续传位置发送的数据续传事务，并将数据续传事务发送到目标数据库进行迁移。

第三方面，本发明实施例还提供了一种计算机设备，设备包括：一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所提供的增量数据断点续传方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的增量数据断点续传方法。