[发明专利]历史数据清理方法及装置

说明书

本发明公开了一种历史数据清理方法及装置，其中，该历史数据清理方法包括：根据预设系统启动时间自动启动历史数据清理流程，获取清理策略配置文件，并根据清理策略配置文件生成至少一个清理任务；根据历史任务处理时间计算每个清理任务的预计处理时间；按照预计处理时间，将待分配任务队列中的至少一个清理任务分配给空闲的清理单元，其中，清理单元对清理任务进行处理，并在每个清理任务处理完毕后输出处理状态；根据处理状态判断处理是否成功，若失败，将处理失败的清理任务的状态改为待分配，放入待分配任务队列，等待重新进行分配。利用配置文件，可以在各系统中复用，降低系统开发和维护成本；支持多进程并发处理，提高数据清理的效率。

技术领域

本发明涉及数据清理技术领域，尤其涉及一种历史数据清理方法及装置。

背景技术

在很多领域的应用系统数据库中，每日都会新增大量数据，数据库的存量数据呈现持续增长的状态。随着数据量的上升，如果不能有效地控制在线数据规模，将影响生产数据访问效率、及应用系统运行的整体效率。因此，需定期扫描应用数据，将超过一定保存时间、不再具有使用价值的数据进行删除。

对于历史数据的清理，目前主要方法如下：建配置文件，逐一扫描配置文件中的记录，对相应的数据库中的表的数据进行删除。该方法存在以下弊端：

(1)这种方式仅适用于最简单的数据迁移清理场景，可扩展性差、无法在各系统中直接复用；

(2)对于表结构等环境的要求较高，无法自动调整迁移清理策略；

(3)不支持并发处理，在多表大数据量的情况下效率无法满足。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种历史数据清理方法及装置，以至少解决现有技术中的历史数据清理方法无法在各系统中直接复用、不支持并发处理的问题。

根据本发明的一个方面，提供了一种历史数据清理方法，包括：根据预设的系统启动时间自动启动历史数据清理流程，获取清理策略配置文件，并根据所述清理策略配置文件生成至少一个清理任务；根据历史任务处理时间，计算每个清理任务的预计处理时间；按照所述预计处理时间，将待分配任务队列中的所述至少一个清理任务分配给空闲的清理单元，其中，所述清理单元依次对分配给自身的清理任务进行处理，并在每个清理任务处理完毕后输出对应的任务处理状态；根据所述任务处理状态判断处理是否成功，如果失败，则将处理失败的清理任务的状态改为待分配，放入所述待分配任务队列，等待重新进行分配。

在一个实施例中，在根据预设的系统启动时间自动启动历史数据清理流程之前，所述方法还包括：根据用户输入的信息生成系统配置文件和所述清理策略配置文件，并存储所述系统配置文件和所述清理策略配置文件；其中，所述系统配置文件包括：系统启动时间和重复清理次数；所述清理策略配置文件包括：数据库用户名、表名、清理频率、字段名、清理条件、是否需要备份和备份模式。

在一个实施例中，按照所述预计处理时间，将待分配任务队列中的所述至少一个清理任务分配给空闲的清理单元，包括：检测所述待分配任务队列中是否存在待分配的清理任务；如果存在待分配的清理任务，检测是否存在空闲的清理单元，如果存在空闲的清理单元，则按照所述待分配的清理任务对应的预计处理时间，将所述待分配的清理任务分配给空闲的清理单元；如果不存在空闲的清理单元，则继续检测是否存在空闲的清理单元，直到所述待分配任务队列中所有清理任务的状态都是已分配；如果不存在待分配的清理任务，则继续检测所述待分配任务队列中是否存在待分配的清理任务，直到所述待分配任务队列中所有清理任务的状态都是已完成。