[发明专利]数据处理方法、装置及其电子设备

说明书

本发明公开一种数据处理方法、装置及其电子设备，方法包括任务创建模块，用于根据接收到的执行参数信息创建数据清洗任务存储；和数据清洗模块，用于为创建的数据清洗任务关联待清洗的数据报表，并根据所述数据清洗任务对关联的所述数据报表进行清洗入库，获得相应的清洗结果数据。根据本发明提供的方案，解决了现有技术中的缺乏一种数据清洗效果良好的数据清洗方法来对仅可以通过原非结构呈现的预算审查报表进行数据处理的技术问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置及其电子设备。

背景技术

在预算联网监督领域，基于预算审查的特点以及相关部门的信息化交换特点，当前各政府部门主要通过excel电子表格的方式来报送预算审查报表。在实际操作中，实际上报的预算审查报表不规范，存在的问题包括有：报表字段命名不规范、报送数据科目不规范、无效空行列、隐藏行列、数据列存在非数字字符、字符全角半角、存在公式列、报表勾稽关系不正确等。存在的这些问题导致报送来的预算审查报表不能满足进一步的数据应用分析需求，如对报表数据进行纵向或横向对比分析，多维可视化分析等数据处理需求。因而，一般需要对上报的原始数据进行数据清洗预处理，将其标准化。目前，业内常规的数据清洗方式一般是通过ETL工具对原始数据进行标准化处理，然而这种处理方式是基于固定的标准化数据结构的，因而对于单点接入的应用场景能够产生比较好的效果，但是当预算审查涉及到的接入端比较多时，如人大的预算审查涉及不同层级的人大、不同业务部门等多种接入端，而每个接入端的原始数据内容和格式都具有其个性化特点，这就导致了因接入端多样性导致的需求多样化，因而难以通过单一的标准化结构完成数据清洗处理，即面对预算审查这一多数据接入端的应用场景，通过常规的ETL工具难以取得较好的数据清洗效果。

发明内容

为了解决背景技术提及的问题，发明人想到通过一种数据清洗方法、装置及其电子设备，以解决现有技术中的缺乏一种数据清洗效果良好的数据清洗方法来针对多接入端的预算审查场景下的多样化的预算审查报表进行数据处理的技术问题。

基于此，根据本发明的第一方面，本发明实施例提供数据处理装置，其包括：

任务创建模块，用于根据接收到的执行参数信息创建数据清洗任务存储；和

数据清洗模块，用于为创建的数据清洗任务关联待清洗的数据报表，并根据所述数据清洗任务对关联的所述数据报表进行清洗入库，获得相应的清洗结果数据。

根据本发明的第二方面，本发明实施例提供一种数据处理方法，包括：

获取第一数据信息；

根据所述第一数据信息创建数据清洗任务；

获取为所述数据清洗任务关联的待清洗数据报表；

根据所述数据清洗任务对关联的所述待清洗数据报表进行清洗入库，获得相应的清洗结果数据。

根据本发明的第三方面，本发明实施例提供一种数据处理装置的操作方法，包括：

通过可视化用户界面选定当前任务对应的基础信息标准；

根据可视化用户界面呈现的数据清洗策略和数据清洗规则的可选项内容，选取和编排数据清洗策略，并为各数据清洗策略选定数据清洗规则和其适用的基础信息标准的字段内容；

通过可视化用户界面关联当前任务需要清洗的数据报表，并输入用户开始执行数据清洗处理的操作指令。

根据本发明的第四方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述数据处理方法。