[发明专利]历史数据清理方法及装置

摘要

本发明公开了一种历史数据清理方法及装置，其中，该历史数据清理方法包括：根据预设系统启动时间自动启动历史数据清理流程，获取清理策略配置文件，并根据清理策略配置文件生成至少一个清理任务；根据历史任务处理时间计算每个清理任务的预计处理时间；按照预计处理时间，将待分配任务队列中的至少一个清理任务分配给空闲的清理单元，其中，清理单元对清理任务进行处理，并在每个清理任务处理完毕后输出处理状态；根据处理状态判断处理是否成功，若失败，将处理失败的清理任务的状态改为待分配，放入待分配任务队列，等待重新进行分配。利用配置文件，可以在各系统中复用，降低系统开发和维护成本；支持多进程并发处理，提高数据清理的效率。

主权项

1.一种历史数据清理方法，其特征在于，包括：根据预设的系统启动时间自动启动历史数据清理流程，获取清理策略配置文件，并根据所述清理策略配置文件生成至少一个清理任务；根据历史任务处理时间，计算每个清理任务的预计处理时间；按照所述预计处理时间，将待分配任务队列中的所述至少一个清理任务分配给空闲的清理单元，其中，所述清理单元依次对分配给自身的清理任务进行处理，并在每个清理任务处理完毕后输出对应的任务处理状态；根据所述任务处理状态判断处理是否成功，如果失败，则将处理失败的清理任务的状态改为待分配，放入所述待分配任务队列，等待重新进行分配；在根据预设的系统启动时间自动启动历史数据清理流程之前，所述方法还包括：根据用户输入的信息生成系统配置文件和所述清理策略配置文件，并存储所述系统配置文件和所述清理策略配置文件；其中，所述系统配置文件包括：系统启动时间和重复清理次数；所述清理策略配置文件包括：数据库用户名、表名、清理频率、字段名、清理条件、是否需要备份和备份模式；所述清理单元依次对分配给自身的清理任务进行处理，包括：所述清理单元从所述清理任务中获取清理参数信息，其中，所述清理参数信息包括：数据库用户名、表名、清理频率、字段名、清理条件；所述清理单元结合清理数据量、全量数据量、预计处理时间和表结构，确定清理模式以及是否需要对表结构进行分区处理，其中，所述清理模式包括以下至少之一：删除模式、截断模式；所述清理单元根据所述清理模式和分区处理结果对所述清理任务进行清理。