[发明专利]针对不完整数据的大数据清洗方法

说明书

本发明公开了一种针对不完整数据的大数据清洗方法，所述方法包括：S1，通过JDBC接口调入待清理的数据；S2，对数据进行预处理；S3，对数据进行不完整数据的检测、判别以及修正；S4，通过JDBC接口导出结果数据至新数据源。本发明方案利用数据源之间的属性值并不是相互独立的特性，通过识别属性值之间的关系可以推断出丢失的属性值，有效地达到了数据清理的目的，提高了数据源的数据质量。

技术领域

本发明属于大数据清洗技术领域，涉及一种针对不完整数据的大数据清洗方法。

背景技术

随着信息化的进展，企业内部积累了大量的电子数据，这些数据对企业非常重要。但由于各种原因，导致企业现有系统数据库中存在重复的记录、错误的数据、不完整的数据等脏数据。这些脏数据会扭曲从数据中获得的信息，影响信息系统的运行效果，也为企业构建数据仓库、建立决策支持系统、应用商务智能化带来隐患。

为提高信息系统的数据质量，数据清理变得很重要。其中，数据不完整(Incompleteness)是产生数据质量问题的一个重要因素。

简单地说，数据不完整是指数据源中属性值的丢失问题。不完整数据的存在会引起决策错误，特别是数值数据中出现不完整数据，所以必须解决数据源中的数据不完整问题。

发明内容

本发明目的在于提供一种针对不完整数据的大数据清洗方法，为了克服数据源中的不完整数据会加大数据源清理的难度，降低数据质量，影响数据挖掘效果的问题，利用数据源之间的属性值并不是相互独立的特性，通过识别属性值之间的关系可以推断出丢失的属性值，有效地达到了数据清理的目的，提高了数据源的数据质量。

为解决上述技术问题，本发明采用如下的技术方案：一种针对不完整数据的大数据清洗方法，所述方法包括：S1，通过JDBC接口调入待清理的数据；S2，对数据进行预处理；S3，对数据进行不完整数据的检测、判别以及修正；S4，通过JDBC接口导出结果数据至新数据源。

进一步地，所述步骤S1中，JDBC为Java DataBase Connectivity的缩写，即Java数据库连接，该接口把数据源中需要清理的数据调入到系统中，执行数据清理。

进一步地，所述步骤S2中，数据预处理是指标准化数据记录格式，根据预定义的规则，把数据记录中的相应字段转换成同一格式。

进一步地，所述步骤S3中，利用算法库、规则库及数据清理日志完成对不完整数据的相关处理。

进一步地，所述步骤S4中，JDBC将处理所得的正确数据导出至新数据库。

本发明与现有技术相比具有以下的有益效果：

本发明方案针对数据源中的不完整数据会加大数据源清理的难度，降低数据质量，影响数据挖掘效果的问题，利用数据源之间的属性值并不是相互独立的特性，通过识别属性值之间的关系可以推断出丢失的属性值，达到数据清理的目的，提高数据源的数据质量。

附图说明

图1是针对不完整数据的大数据清洗方法的流程框图。

图2是针对不完整数据的大数据清洗方法中不完整数据操作原理流程图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

参照图1，本发明的一种针对不完整数据的大数据清洗方法，所述方法包括：

S1，把数据源中需要清理的数据通过JDBC(Java DataBase Connectivity，Java数据库连接)接口调入到系统中来，执行数据清理；