[发明专利]一种数据迁移方法及装置

说明书

本申请涉及数据库技术领域，尤其涉及一种数据迁移方法及装置，用以解决现有技术中对于二进制文件的存储及访问影响了数据库的数据传输速度及稳定性的问题。本申请实施例提供一种数据迁移方法包括：基于第一数据库中的待迁移数据记录，确定第一待迁移文件；将所述第一待迁移文件存储在设置的文件系统中，并将所述第一待迁移文件的标识信息存储在第二数据库中；其中，所述第一待迁移文件的标识信息为用于标识所述第一待迁移文件在所述文件系统中的存储位置的信息。

技术领域

本申请涉及数据库技术领域，尤其涉及一种数据迁移方法及装置。

背景技术

计算机文件基本上分为两种：二进制文件和ASCII(也称纯文本text文件)，图形文件及文字处理程序等计算机程序都属于二进制文件。这些文件含有特殊的格式及计算机代码。ASCII是可以用任何文字处理程序阅读的简单文本文件。

在某些情况下，比如当进行业务拆分、当前数据库满足不了二进制文件(二进制文件一般占用的存储空间较大)的存储需求等时，我们会需要将当前数据库(以下简称旧库)中的数据迁移到另一个数据库(以下简称新库)中，并在完成数据迁移后，将线上业务从旧库迁移到新库中。在进行数据迁移的过程中，仍然采用旧库为线上业务提供数据服务。

在进行数据迁移的过程中，会有新的数据需要进行存储。为了不影响线上业务的正常进行，一般采用同步双写的机制进行新数据的迁移。具体地，新的数据首先被写入旧库的待处理队列中，然后将待处理队列中的数据同步写入旧库及新库中，并将旧库中从开始执行同步双写的时间点以前的数据迁移到新库。

目前，对于二进制文件的存储及访问成为影响数据库的数据传输速度及稳定性的瓶颈。在进行数据迁移时，若仍采用现有方式执行二进制文件的迁移，将会严重影响数据迁移效率，及迁移后的数据访问性能。

发明内容

本申请实施例提供一种数据迁移方法及装置，用以解决现有技术中对于二进制文件的存储及访问影响了数据库的数据传输速度及稳定性的问题。

本申请实施例提供一种数据迁移方法，包括：

基于第一数据库中的待迁移数据记录，确定第一待迁移文件；

将所述第一待迁移文件存储在设置的文件系统中，并将所述第一待迁移文件的标识信息存储在第二数据库中；

其中，所述第一待迁移文件的标识信息为用于标识所述第一待迁移文件在所述文件系统中的存储位置的信息。

可选地，所述文件系统为分布式文件系统。

可选地，将所述第一待迁移文件存储在设置的文件系统中，并将所述第一待迁移文件的标识信息存储在第二数据库中之后，还包括：

当接收到客户端针对所述第一待迁移文件的访问请求时，基于所述第二数据库中所述第一待迁移文件的标识信息，获取所述文件系统中存储的所述第一待迁移文件，并返回给所述客户端。

可选地，基于第一数据库中的待迁移数据记录，确定第一待迁移文件，包括：

从所述待迁移数据记录中，提取二进制文件；

将提取的所述二进制文件、和基于所述二进制文件转换得到的文本text文件两者中的至少一种确定为所述第一待迁移文件。

可选地，若所述第一待迁移文件包括所述二进制文件，则将所述二进制文件存储在设置的文件系统中，并将所述二进制文件的标识信息存储在第二数据库中之后，还包括：

当接收到客户端针对所述二进制文件的下载请求时，基于所述第二数据库中所述二进制文件的标识信息，从所述文件系统中获取所述二进制文件，并将获取的所述二进制文件缓存在内容分发网络CDN中；

向所述客户端返回所述二进制文件在所述CDN中的访问地址。