[发明专利]一种基于数据标准规范的数据清洗方法、装置和系统

权利要求书

1.一种基于数据标准规范的数据清洗方法，其特征在于：包括以下步骤：

获取数据标准规范信息和数据源；

根据数据标准规范信息配置数据源中各字段的数据标准规范，其中，将数据源中的各字段与各字段对应的数据标准规范通过映射的方式建立关联；

添加数据质量检测任务、配置第一处理账号并执行任务调度，得到数据源中各字段的质量检测结果；

根据数据源中各字段的质量检测结果生成问题报告工单并将问题报告工单发送至第一处理账号，其中，所述问题报告工单包括数据源中每个字段存在的数据问题；

获取用户输入的第二信息，将问题报告工单从第一处理账号分配到第二处理账号；或者获取用户输入的第三信息，将问题报告工单发送至设定的外部系统；

当问题报告工单被处理后，将已处理的问题报告工单存入知识库中，其中，已处理的问题报告工单中记录第一处理账号的处理人的解决方案；

根据数据标准规范信息，从知识库中查询采用相同数据标准规范且已处理的问题报告工单；

获取用户输入的第一信息，根据第一信息在知识库中查找包含第一信息且已处理的问题报告工单，其中，所述第一信息为字段名称或者数据格式。

2.一种基于数据标准规范的数据清洗装置，其特征在于：包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如权利要求1所述的一种基于数据标准规范的数据清洗方法。

3.一种基于数据标准规范的数据清洗系统，其特征在于：包括：

获取模块，用于获取数据源；

数据标准规范信息管理模块，用于添加、修改和删除数据标准规范信息，其中，将数据源中的各字段与各字段对应的数据标准规范通过映射的方式建立关联；

映射配置单元，用于根据数据标准规范信息配置数据源中各字段的数据标准规范；

任务执行调度单元，用于添加数据质量检测任务、配置第一处理账号并执行任务调度，得到数据源中各字段的质量检测结果；

工单管理单元，用于根据数据源中各字段的质量检测结果生成问题报告工单并将问题报告工单发送至第一处理账号；用于获取用户输入的第二信息，将问题报告工单从第一处理账号分配到第二处理账号，或者获取用户输入的第三信息，将问题报告工单发送至设定的外部系统，其中，所述问题报告工单包括数据源中每个字段存在的数据问题；

问题报告工单处理模块，用于处理问题报告工单，其中，已处理的问题报告工单中记录第一处理账号的处理人的解决方案；

知识库，用于查询和存储已经处理的问题报告工单；

查询模块，用于根据数据标准规范信息，从知识库中查询采用相同数据标准规范且已处理的问题报告工单；

搜索模块，用于获取用户输入的第一信息，根据第一信息在知识库中查找包含第一信息且已处理的问题报告工单，其中，所述第一信息为字段名称或者数据格式。