[发明专利]一种垃圾数据的清理方法

摘要

本发明涉及计算机领域的信息维护技术，尤其涉及一种垃圾数据的清理方法，包括：通过建立垃圾数据清理规则体系，快速从数据源中检测错误数据和重复数据从而完成对数据库信息的过滤。本发明的有益效果在于：1.规则的可扩展性，随时补充新的规则；2.规则与数据的多对多映射，允许对数据项对应多条规则，同时也允许一条规则对应多个数据项；3.规则语义化，制定的规则以通俗易懂的形式展现，以计算机语言方式存储；4.垃圾数据处理方案的灵活配置，允许自定义包括删除、跳过、人工处理等多种方式处理垃圾数据；5.多数据库支持，允许处理包括oracle、mysql、db2等主流数据库的支持。

主权项

一种垃圾数据的清理方法，其特征在于包括以下步骤：1)在数据处理中心的存储区中按照用户需求大小划分数据存储区和人工干预数据存储区；2)根据数据存储区的大小读取数据库中的数据，并通过JDBC接口调入到数据处理中心，数据以数据库表的形式存储在数据存储区；3)数据库表中的数据根据内容设定字段ID，字段ID形成数据源数据库；4)以字段ID为主体定义数据处理规则，将数据处理规则保存到规则配置库中：(41)定义字段ID为非法数据，执行错误数据处理；(42)定义字段ID为重复数据，执行人工数据处理；5)规则配置库中的数据处理规则生成规则XML文件：6)定义规则配置库中各数据处理规则的调用顺序、自动扫描循环时间，完成自动扫描调度配置；7)根据自动扫描调度任务，对数据进行过滤处理，依据数据处理规则执行数据处理，并记录数据执行过程与执行结果：(71)判断数据为非法数据，按照相应的数据处理规则执行数据处理；(72)判断数据为重复数据，将重复数据发送至人工干预数据存储区中，对数据进行人工处理；8)当数据存储区中的数据全部完成数据过滤后，将步骤7)中的数据执行过程与执行结果发送至日志管理中，删除存储区中的数据，执 行步骤2)‑步骤7)，完成数据库中所有数据的清理；9)当完成数据库中所有数据的清理，定时器开始工作，定时一段时间后重新对数据库进行垃圾数据清理。