[发明专利]数据清洗方法及装置

权利要求书

1.一种数据清洗方法，其特征在于，应用于多级数据仓库中任一数据仓库对应的目标清洗节点，所述方法包括：

从所述任一数据仓库中确定待清洗的目标数据并创建针对所述目标数据的清洗任务，所述清洗任务包含所述目标数据信息以及清洗规则；

确定所述目标数据的来源数据仓库，并根据数据仓库与清洗节点之间的映射关系确定所述来源数据仓库对应的目标清洗子节点；

同步所述清洗任务至所述目标清洗子节点，使所述来源数据仓库根据相应的目标清洗子节点下发的清洗任务对所述目标数据进行清洗。

2.根据权利要求1所述的方法，其特征在于，所述确定所述目标数据的来源数据仓库，包括：

对所述目标数据进行血缘关系分析以确定所述目标数据的来源数据仓库。

3.根据权利要求1所述的方法，其特征在于，在所述多级数据仓库中，所述任一数据仓库包括所述来源数据仓库的上级数据仓库。

4.根据权利要求1所述的方法，其特征在于，所述映射关系由所述目标清洗节点建立，所述映射关系至少包含所述目标清洗节点的各个清洗子节点与其对应的数据仓库之间的关联。

5.根据权利要求1所述的方法，其特征在于，所述同步所述清洗任务至所述目标清洗子节点，使所述来源数据仓库根据相应的目标清洗子节点下发的清洗任务对所述目标数据进行清洗，包括：

同步所述清洗任务以及所述清洗任务的执行周期至所述目标清洗子节点，使所述来源数据仓库根据相应的目标清洗子节点下发的清洗任务，按照所述执行周期对所述目标数据进行清洗。

6.根据权利要求1所述的方法，其特征在于，还包括：

调用抽取工具获取各个来源数据仓库生成的已清洗数据，以及将所述已清洗数据同步至所述任一数据仓库。

7.根据权利要求6所述的方法，其特征在于，还包括：

筛选所述任一数据仓库中的未清洗数据；

下发针对所述未清洗数据的数据清洗任务至所述任一数据仓库，控制所述任一数据仓库根据所述未清洗数据的数据清洗任务对所述未清洗数据进行清洗。

8.一种数据清洗装置，其特征在于，应用于多级数据仓库中任一数据仓库对应的目标清洗节点，所述装置包括：

创建单元，从所述任一数据仓库中确定待清洗的目标数据并创建针对所述目标数据的清洗任务，所述清洗任务包含所述目标数据信息以及清洗规则；

确定单元，确定所述目标数据的来源数据仓库，并根据数据仓库与清洗节点之间的映射关系确定所述来源数据仓库对应的目标清洗子节点；

同步单元，同步所述清洗任务至所述目标清洗子节点，使所述来源数据仓库根据相应的目标清洗子节点下发的清洗任务对所述目标数据进行清洗。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。