[发明专利]一种海量数据清洗方法及装置

摘要

本申请公开了一种海量数据的清洗方法及装置，该方法首先配置数据清洗规则文件，并能够根据数据清洗规则的表名，获取待清洗数据表对应的数据清洗规则，并自动生成清洗代码执行清洗，在清洗过程中为待清洗的每条数据打上标签，通过标签解析，分析出数据触发了哪条数据清洗规则，从而进行相应的清洗处理。本申请的海量数据清洗装置包括数据规则配置模块，数据清洗代码生成模块，执行模块和解析模块，根据本申请公开的海量数据清洗方法对海量数据进行清洗。本申请能够对海量数据进行有效的清洗，效率高，清洗出的脏数据被分类保留，可以精确定位每一条脏数据的来源去向。

主权项

一种海量数据清洗方法，其特征在于，所述数据清洗方法包括步骤：(1)配置数据清洗规则文件；(2)根据数据清洗规则文件，生成数据清洗代码；(3)执行数据清洗代码，为待清洗的数据打上标签；(4)解析标签，对脏数据进行清洗；所述数据清洗规则文件包括至少一条数据清洗规则，所述数据清洗规则包括数据表名，数据清洗规则伪代码和规则序号；步骤(3)进一步包括步骤：(3.1)读取待清洗数据表中的一条数据，为所述数据设置初始标签值；(3.2)所述数据每触发一条数据清洗规则，则将其标签值增加2ⁿ，其中n为该数据清洗规则的规则序号；(3.3)遍历待清洗数据表的表名对应的每一个数据清洗规则；(3.4)读取待清洗数据表中下一条数据，重复步骤(3.1)至步骤(3.3)，遍历待清洗数据表中的每一条数据，为每一条待清洗数据打上标签。