[发明专利]一种数据清洗方法及装置

说明书

本发明提出了一种数据清洗方法及装置，包括：步骤S1，设置清洗规则节点，其中，所述清洗规则节点用于表现数据流转过程中的筛选标准；步骤S2，获取待清洗数据，包括：根据对数据血缘关系分析，获得待清洗数据中的待清洗数据库、表和字段；步骤S3，接入待过滤的数据，包括：将所述待清洗数据库、表和字段从数据流入节点出来向主节点汇聚，再从主节点流出向数据流出节点扩散；步骤S4，新建数据库，包括：将清洗处理得到的数据录入建立的数据库中，并对数据库进行优化，得到原始数据库。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据清洗方法及装置。

背景技术

数据血缘属于数据治理中的一个概念，是在数据溯源的过程中找到相关数据之间的联系，它是一个逻辑概念，血缘分析是保证数据融合的一个手段，通过血缘分析实现数据融合处理的可追溯，其中大数据血缘是指数据产生的链路。

在数据的处理过程中，从数据源头到最终的数据生成，每个环节都可能会导致出现数据质量的问题，可能在某个环节的数据处理中，本发明对数据进行了一些不恰当的处理，导致后续环节的数据质量变得糟糕。因此，需要提出一种数据清洗方法及装置，以解决上述存在的技术问题。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种数据清洗方法，以解决背景技术中所提到的问题，克服现有技术中存在的不足。

为了实现上述目的，本发明一方面的实施例提供一种数据清洗方法，包括如下步骤：

步骤S1，设置清洗规则节点，其中，所述清洗规则节点用于表现数据流转过程中的筛选标准；

步骤S2，获取待清洗数据，包括：根据对数据血缘关系分析，获得待清洗数据中的待清洗数据库、表和字段；

步骤S3，接入待过滤的数据，包括：将所述待清洗数据库、表和字段从数据流入节点出来向主节点汇聚，再从主节点流出向数据流出节点扩散；

步骤S4，新建数据库，包括：将清洗处理得到的数据录入建立的数据库中，并对数据库进行优化，得到原始数据库。

由上述任一方案优选的是，在所述步骤S1中，所述清洗规则节点的筛选标准：量的数据分布在不同的位置，每个位置对数据质量的要求均不同，数据接收方根据自己对数据的要求过滤接入的数据，以形成数据标准，根据上述标准进行数据清洗。

由上述任一方案优选的是，所述获取待清洗数据包括转换规则节点和数据归档销毁规则节点，转换规则节点采用特殊标记表示，位于数据流转线路上，用于表现数据流转过程中发生的变化和变换，

由上述任一方案优选的是，所述数据归档销毁规则节点，当数据不再具备使用价值，或者归档或者直接销毁，设计条件判断数据是否还具备使用价值，进而归档或销毁。

由上述任一方案优选的是，所述获得待清洗数据中待清洗数据库、表和字段是数据的存储结构。

由上述任一方案优选的是，所述数据血缘关系分析中血缘关系层次不同，数据信息不同，所有层次只有所有者的信息，其他的层次则包括所有者信息和数据层次信息或者终端信息。

本发明另一方面的实施例提供一种数据清洗装置，包括：获取模块、处理模块、数据清洗模块、录入模块，其中，

所述获取模块、所述处理模块、所述数据清洗模块、所述录入模块和docker容器依次电性安装在电路板上，且所述电路板安装在壳框内，所述壳框顶部表面设置有三个插接端口；

所述获取模块用于设置清洗规则节点，并获取待清洗数据，根据所述待清洗数据中噪声数据分布的分析，获得所述待清洗数据中的待清洗数据库、表和字段；