[发明专利]数据清洗方法和装置

权利要求书

1.一种数据清洗方法，其特征在于，包括：

针对各业务和/或计算任务生成清洗规则；

根据目标数据的数据特征匹配清洗规则；

利用匹配中的清洗规则对所述目标数据进行清洗，

所述清洗规则包括三个清洗子规则；所述针对各业务和/或计算任务生成清洗规则，包括：

将各业务通用的规则作为第一层级清洗子规则；

将针对业务和/或计算任务设置的规则作为第二层级清洗子规则，所述第二层级清洗子规则用于识别出不同业务所特有的脏数据；

将用户自定义规则作为第三层级清洗子规则。

2.根据权利要求1所述的数据清洗方法，其特征在于，所述根据目标数据的数据特征匹配清洗规则，包括：

将产生所述目标数据的原业务、所述目标数据所需用于的目标业务、所述原业务中产生所述目标数据的原计算任务和/或所述目标业务中所述目标数据所需用于的目标计算任务作为所述数据特征；

采用所述数据特征匹配预设的清洗规则。

3.根据权利要求1所述的数据清洗方法，其特征在于，所述清洗规则包括至少两个清洗子规则，所述利用匹配中的清洗规则对所述目标数据进行清洗，包括：

按照清洗子规则之间的层级顺序，获取上一层级清洗子规则清洗获得的干净数据；

采用本层级清洗子规则对所述干净数据进行清洗。

4.根据权利要求1-3任一项所述的数据清洗方法，其特征在于，所述利用匹配中的清洗规则对所述目标数据进行清洗，包括：

获取所述匹配中的清洗规则所涉及的历史数据；

依据所述历史数据，采用所匹配中的清洗规则对所述目标数据进行清洗。

5.根据权利要求4所述的数据清洗方法，其特征在于，所述获取所述匹配中的清洗规则所涉及的历史数据之前，还包括：

当确定存在匹配中的清洗规则时，根据所述匹配中的清洗规则所涉及的字段，从所述目标数据中提取所述字段的取值；

将所提取到的字段的取值，作为下一次清洗所需的历史数据。

6.一种数据清洗装置，其特征在于，包括：

匹配模块，用于根据目标数据的数据特征匹配清洗规则；

清洗模块，用于利用匹配中的清洗规则对所述目标数据进行清洗；

生成模块，用于针对各业务和/或计算任务生成所述清洗规则，

所述清洗规则包括三个清洗子规则；所述生成模块，包括：

第一生成单元，用于将各业务通用的规则作为第一层级清洗子规则；

第二生成单元，用于将针对业务和/或计算任务设置的规则作为第二层级清洗子规则，所述第二层级清洗子规则用于识别出不同业务所特有的脏数据；

第三生成单元，用于将用户自定义规则作为第三层级清洗子规则。

7.根据权利要求6所述的数据清洗装置，其特征在于，所述匹配模块，包括：

获取单元，用于将产生所述目标数据的原业务、所述目标数据所需用于的目标业务、所述原业务中产生所述目标数据的原计算任务和/或所述目标业务中所述目标数据所需用于的目标计算任务作为所述数据特征；

匹配单元，用于采用所述数据特征匹配预设的清洗规则。

8.根据权利要求6所述的数据清洗装置，其特征在于，所述清洗规则包括至少两个清洗子规则，所述清洗模块，包括：

输入单元，用于按照清洗子规则之间的层级顺序，获取上一层级清洗子规则清洗获得的干净数据；

清洗单元，用于采用本层级清洗子规则对所述干净数据进行清洗。

9.根据权利要求6-8任一项所述的数据清洗装置，其特征在于，所述清洗模块，包括：

历史数据单元，用于获取所述匹配中的清洗规则所涉及的历史数据；

数据清洗单元，用于依据所述历史数据，采用所匹配中的清洗规则对所述目标数据进行清洗。

10.根据权利要求9所述的数据清洗装置，其特征在于，所述装置，还包括：

提取模块，用于当确定存在匹配中的清洗规则时，根据所述匹配中的清洗规则所涉及的字段，从所述目标数据中提取所述字段的取值；

历史数据生成模块，用于将所提取到的字段的取值，作为下一次清洗所需的历史数据。