[发明专利]一种基于数据标准规范的数据清洗方法、装置和系统

说明书

本发明公开了一种基于数据标准规范的数据清洗方法、装置和系统，该方法包括以下步骤：获取数据标准规范信息和数据源；根据数据标准规范信息对数据源进行质量检测，生成问题报告工单并将问题报告工单发送至第一处理账号；当问题报告工单被处理后，将已处理的问题报告工单存入知识库中。本发明基于标准数据规范信息，对需要清洗的数据源进行质量检测，并生成问题报告工单发送至相关的处理账号，当处理人完成对问题报告工单的处理后，将问题报告工单存储到知识库中，以便于后续数据清洗过程中处理人借鉴已经完成处理的问题报告工单的解决方案，从而提升数据清洗的效率。本发明可以广泛应用于数据处理领域。

技术领域

本发明涉及数据处理领域，尤其是一种基于数据标准规范的数据清洗方法、装置和系统。

背景技术

随着社会的迅速进步，手机电脑等产生的数据以每日数亿条增长，应运而生的数据清洗技术的应用也愈加广泛，所以有效地从海量的数据中获取有用的信息是至关重要的。

数据清洗(Data cleaning)在字面意思上就是把“脏数据”清洗掉，数据清洗是指发现并纠正数据文件中可识别的错误数据的最后一道程序，而“脏数据”主要分为数据缺失、数据重复、数据错误和数据不可用四大类。然而目前针对不同类型的数据存在不同的清洗方式，因而需要采用不同的数据标准规范。

现有数据清洗方法中并没有对问题报告工单进行归整，导致后续的清洗过程中无法重复利用问题报告工单中的问题现象以及解决方案，在一定程度上，现有技术效率仍然有改进空间。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种能够提升效率的基于标准规范的数据清洗方法、装置和系统。

本发明所采取的第一种技术方案是：

一种基于数据标准规范的数据清洗方法，包括以下步骤：

获取数据标准规范信息和数据源；

根据数据标准规范信息对数据源进行质量检测，生成问题报告工单并将问题报告工单发送至第一处理账号；

当问题报告工单被处理后，将已处理的问题报告工单存入知识库中。

进一步，所述根据数据标准规范信息对数据源进行质量检测，生成问题报告工单并将问题报告工单发送至第一处理账号，这一步骤具体包括：

根据数据标准规范信息配置数据源中各字段的数据标准规范；

添加数据质量检测任务、配置第一处理账号并执行任务调度，得到数据源中各字段的质量检测结果；

根据数据源中各字段的质量检测结果生成问题报告工单并将问题报告工单发送至第一处理账号。

进一步，还包括以下步骤：

根据数据标准规范信息，从知识库中查询采用相同数据标准规范且已处理的问题报告工单。

进一步，还包括以下步骤：

获取用户输入的第一信息，根据第一信息在知识库中查找包含第一信息且已处理的问题报告工单。

本发明所采取的第二种技术方案是：

一种基于数据标准规范的数据清洗装置，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行一种基于数据标准规范的数据清洗方法。

本发明所采取的第三种技术方案是：

一种基于数据标准规范的数据清洗系统，包括：

获取模块，用于获取数据源；

数据标准规范信息管理模块，用于添加、修改和删除数据标准规范信息；