[发明专利]大数据迁移方法、装置、设备及存储介质

说明书

本发明适用于属于通信技术领域，特别涉及一种大数据迁移方法、装置、设备及存储介质。大数据迁移方法包括：获取源数据在第一数据库中的更新时间，根据所述更新时间将所述源数据划分为变化源数据和不变化源数据，并生成变化源数据表和不变化源数据表；配置所述变化源数据表和所述不变化源数据表的表任务信息；根据所述表任务信息将所述不变化源数据表中的不变化源数据迁移至第二数据库；获取所述变化源数据表中的变化源数据的更新数据，根据所述表任务信息将所述更新数据同步至所述第二数据库。本发明技术方案能够简单快速的实现大数据跨库迁移，提升了工作效率。

技术领域

本发明属于数据迁移技术领域，特别涉及一种大数据迁移方法、装置、设备及存储介质。

背景技术

目前，对于大量数据进行跨库迁移，主要是通过distcp命令同步数据，distcp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具，使用Map/Reduce实现文件分发、错误处理和恢复以及报告生成，把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝，但是，如果在大数据量情况下，例如，迁移的数据量为4000多个任务，5000多张表，总共200T的大数据量，由于网络限制，通常网络速率最大为3T/h，超大的数据无法在同一天同步完成，基于大数据的报表，都是基于最新的数据，需要同时保证当天数据更新、报表更新，又需要进行数据迁移，需要在一天之内迁移完毕，如果进行整库迁移，无法在一天内完成，即现有技术中存在进行大量数据迁移时，无法在预定时间完成的问题。

发明内容

本发明的目的在于提供一种大数据迁移方法、装置、设备及存储介质，能够实现大数据快速的跨库迁移，缩短了数据迁移时间，提高了工作效率。

本发明是这样实现的，本发明第一方面提供一种大数据迁移方法，包括：

获取源数据在第一数据库中的更新时间，根据所述更新时间将所述源数据划分为变化源数据和不变化源数据，并生成变化源数据表和不变化源数据表；

配置所述变化源数据表和所述不变化源数据表的表任务信息；

根据所述表任务信息将所述不变化源数据表中的不变化源数据迁移至第二数据库；

获取所述变化源数据表中的变化源数据的更新数据，根据所述表任务信息将所述更新数据同步至所述第二数据库。

本发明第二方面提供一种大数据迁移装置，所述大数据迁移方法包括：

源数据划分模块，用于获取源数据在第一数据库中的更新时间，根据所述更新时间将所述源数据划分为变化源数据和不变化源数据，并生成变化源数据表和不变化源数据表；

配置模块，用于配置所述变化源数据表和所述不变化源数据表的表任务信息；

不变化源数据迁移模块，用于根据所述表任务信息将所述不变化源数据表中的不变化源数据迁移至第二数据库；

变化源数据同步模块，用于获取所述变化源数据表中的变化源数据的更新数据，根据所述表任务信息将所述更新数据同步至所述第二数据库。

本发明第三方面提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明第一方面所述方法的步骤。

本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面所述方法的步骤。

本发明提供一种大数据迁移方法、装置、设备及存储介质，获取源数据的更新时间，根据更新时间将第一数据库中的源数据划分为变化源数据和不变化源数据，并生成变化源数据表和不变化源数据表，将不变化源数据表中的不变化源数据迁移至第二数据库，实现了大数据快速跨库迁移，将变化源数据表中的更新数据同步至第二数据库，减少了将变化源数据迁移至第二数据库的时间，提高了工作效率。