[发明专利]一种可配置数据清洗系统和方法

权利要求书

1.一种可配置数据清洗系统，其特征在于，包括任务控制器、清洗工具、第一配置表、第二配置表、第三配置表；

所述第一配置表包括任务编码和与所述任务编码对应的清洗工具；

所述第二配置表包括任务编码、与所述任务编码对应的至少一个数据标识，还包括与所述数据标识对应的源数据库、目标数据库和清洗规则标识；

所述源数据库中包括至少一个源字段；所述目标数据库中包括至少一个目标字段；

所述第三配置表包括数据标识、与所述数据标识对应的字段名称，还包括与所述字段名称对应的源字段、目标字段和转换规则标识；

所述任务控制器，用于读取所述各配置表，根据所述任务编码调用对应的清洗工具；所述任务编码用于表示来源于外部系统的任务；任务触发方式包含外部触发；

所述清洗工具，用于根据所述任务编码对应的数据标识从源数据库中读取源数据、确定清洗规则、按照所述清洗规则筛选所述源数据；确定所述字段名称对应的转换规则，由源字段的数据转换为目标字段的数据，存储至所述目标数据库。

2.如权利要求1所述的可配置数据清洗系统，其特征在于，所述可配置数据清洗系统还包括任务列表；

所述任务列表中包括至少一个任务编码；

所述任务控制器，还用于按照所述任务列表中的任务编码的顺序读取第一配置表。

3.如权利要求2所述的可配置数据清洗系统，其特征在于，所述任务列表还包括任务状态标识，用于所述任务控制器读取和修改任务状态标识；

所述任务状态标识包括待执行、执行中、执行成功、执行失败。

4.如权利要求1～3任意一个所述的可配置数据清洗系统，其特征在于，所述第二配置表还包括源数据表和目标数据表；

所述源数据表位于所述源数据库内，用于提供所述源数据；

所述目标数据表位于所述目标数据库内，用于存储所述目标数据。

5.如权利要求1～3任意一个所述的可配置数据清洗系统，其特征在于，所述清洗规则包括全清洗规则和/或增量清洗规则；

所述全清洗规则为清洗所有源数据；

所述增量清洗规则为清洗未清洗过的源数据。

6.如权利要求1～3任意一个所述的可配置数据清洗系统，其特征在于，所述转换规则包括以下至少一种：

数据格式转换、数据类型转换、数据简单处理；

所述数据简单处理包括数据截取和数据扩展。

7.如权利要求1～3任意一个所述的可配置数据清洗系统，其特征在于，所述第一配置表还包括任务触发方式标识；

所述任务触发方式还包括按时间顺序触发。

8.一种可配置数据清洗方法，用于权利要求1～7中任意一种可配置数据清洗系统，其特征在于，包括以下步骤：

读取所述第一配置表、第二配置表和第三配置表，根据所述任务编码调用清洗工具；

根据所述任务编码对应的数据标识从源数据库中读取源数据、确定清洗规则、按照所述清洗规则筛选所述源数据；

确定所述字段名称对应的转换规则，由源字段的数据转换为目标字段的数据，存储至所述目标数据库。

9.如权利要求8所述的可配置数据清洗方法，用于任务列表中包括任务状态标识的可配置数据清洗系统，其特征在于，还包括以下步骤：

按照所述任务列表中的任务编码的顺序读取第一配置表。

10.如权利要求8所述可配置数据清洗方法，用于所述第一配置表包括任务触发方式标识的可配置数据清洗系统，其特征在于，还包括以下步骤：

仅读取所述任务列表中任务状态为待执行标识的任务编码，读取后将所述任务状态标识修改为表示执行中的符号，任务完成后将所述任务状态标识修改为表示执行结果的符号。