[发明专利]一种数据归档方法及装置

说明书

本发明提供了一种数据归档方法及装置，该方法包括：确定源库中待归档的源表；采用数据实时复制技术实现源表与目标库中目标表的实时数据同步；获取源库预部署的过期数据删除脚本、配置表、作业表和中间表，并对过期数据删除脚本的删除操作进行过滤；运行过期数据删除脚本中的作业生成脚本，以使作业生成脚本按照配置表中过期数据删除策略处理源表得到删除作业并保存至作业表中；运行过期数据删除脚本中的作业执行脚本，以使作业执行脚本扫描作业表中的删除作业并利用中间表中删除辅助数据执行。本发明基于数据实时复制技术和源库预部署的程序可以实现对源表数据的实时、在线、低影响归档。

技术领域

本发明涉及数据库技术领域，更具体地说，涉及一种数据归档方法及装置。

背景技术

数据归档是对业务系统数据库中的过期数据进行备份及清理的操作。

现阶段，常采用抽取工具将数据从源库中抽取至目标库，抽取工具需要按照源表中某个时间字段定期抽取，并记录每次数据抽取的时间范围，以便后续抽取的时间范围不再重叠。

但这种归档方式要求源表中有时间字段，字段内容不能为空也不能更新，否则会出现漏抽或者重复抽取的问题。

发明内容

有鉴于此，为解决上述问题，本发明提供一种数据归档方法及装置。技术方案如下：

一种数据归档方法，包括：

确定源库中待归档的源表；

采用数据实时复制技术实现所述源表与目标库中目标表的实时数据同步；

获取所述源库预部署的过期数据删除脚本、配置表、作业表和中间表，并对所述过期数据删除脚本的删除操作进行过滤；其中，所述过期数据删除脚本包括作业生成脚本和作业执行脚本，所述配置表记录有过期数据删除策略，所述中间表中记录有所述源表的删除辅助数据；

运行所述作业生成脚本，以使所述作业生成脚本按照所述过期数据删除策略处理所述源表得到删除作业并保存至所述作业表中；

运行所述作业执行脚本，以使所述作业执行脚本扫描所述作业表中的所述删除作业并利用所述删除辅助数据执行。

优选的，所述采用数据复制技术实现源表与目标库中目标表的实时数据同步之前，所述方法还包括：

创建针对所述源库的归档账户，并为所述归档账户赋予权限。

优选的，所述采用数据复制技术实现源表与目标库中目标表的实时数据同步之前，所述方法还包括：

在所述源表处于未分区状态的情况下，对所述目标表进行分区。

优选的，所述方法还包括：

在检测到所述作业执行脚本运行完成的情况下，输出用于表征数据归档完成的提示信息。

优选的，所述方法还包括：

在检测到所述作业执行脚本运行完成的情况下，对所述源表执行shrink操作。

优选的，所述方法还包括：

在检测到所述作业执行脚本运行未完成的情况下，获取并更新所述删除作业的运行进度和运行状态。

优选的，所述方法还包括：

在检测到所述作业生成脚本/所述作业执行脚本运行中断的情况下，获取并记录所述作业生成脚本/所述作业执行脚本的运行错误信息。

优选的，所述运行所述作业生成脚本之前，所述方法还包括：

通过第一定时任务调度所述作业生成脚本；

所述运行所述作业执行脚本之前，所述方法还包括：