[发明专利]一种可配置数据清洗系统和方法

摘要

本申请公开了一种可配置数据清洗系统和方法，包括任务控制器、清洗工具、第一配置表、第二配置表、第三配置表。第一配置表包括任务编码和清洗工具。第二配置表包括任务编码、数据标识、源数据库、目标数据库和清洗规则标识。源数据库中包括源字段，目标数据库中包括目标字段。第三配置表包括数据标识、字段名称、源字段、目标字段和转换规则标识。任务控制器读取配置表，调用清洗工具。清洗工具根据任务编码对应的数据标识从源数据库中读取源数据、确定清洗规则、按照清洗规则筛选源数据。确定字段名称对应的转换规则标识，由源字段的数据转换为目标字段的数据，发送至目标数据库。所述系统和方法保证了数据清洗的连贯性，有效利用时间和资源。

主权项

1.一种可配置数据清洗系统，其特征在于，包括任务控制器、清洗工具、第一配置表、第二配置表、第三配置表；所述第一配置表包括任务编码和与所述任务编码对应的清洗工具；所述第二配置表包括任务编码、与所述任务编码对应的至少一个数据标识，还包括与所述数据标识对应的源数据库、目标数据库和清洗规则标识；所述源数据库中包括至少一个源字段；所述目标数据库中包括至少一个目标字段；所述第三配置表包括数据标识、与所述数据标识对应的字段名称，还包括与所述字段名称对应的源字段、目标字段和转换规则标识；所述任务控制器，用于读取所述各配置表，根据所述任务编码调用对应的清洗工具；所述清洗工具，用于根据所述任务编码对应的数据标识从源数据库中读取源数据、确定清洗规则、按照所述清洗规则筛选所述源数据；确定所述字段名称对应的转换规则，由源字段的数据转换为目标字段的数据，存储至所述目标数据库。