[发明专利]业务数据清洗方法、装置、电子设备

说明书

公开一种业务数据清洗方法、装置、电子设备及机器可读存储介质。在本申请中，从对接的业务系统中获取待执行数据清洗的业务数据；确定与所述业务数据关联的数据元；以及，获取与所述数据元关联的转换型命名实体、校验型命名实体及解释型命名实体，并基于获取的转换型命名实体、校验型命名实体及解释型命名实体对所述业务数据执行数据清洗。基于所见即所得的多个命名实体依次进行有序数据清洗，避免了用户进行繁琐的数据清洗配置，提高了数据清洗维护效率，并方便命名实体的积累和共享利用。

技术领域

本申请一个或多个实施例涉及计算机应用技术领域，尤其涉及业务数据清洗方法、装置、电子设备及机器可读存储介质。

背景技术

随着IT技术的发展和普及，各行各业累积的业务数据越来越多。当需要对累积的海量业务数据通过数据治理平台进行数据清洗时，通常需要数据治理平台的开发人员在数据治理平台后台配置复杂的正则表达式用于数据清洗。然而，正则表达式通常比较复杂晦涩，普通用户难以理解和使用，致使数据清洗时配置及维护的效率极为低下。比如：电子政务系统中的公安数据涉及待数据清洗的数据元的个数数万以万计，为每个数据元配置及维护复杂的正则表达式，极其复杂且难于管理及维护。

发明内容

本申请提供一种业务数据清洗方法，所述方法包括：

从对接的业务系统中，获取待执行数据清洗的业务数据；

确定与所述业务数据关联的数据元；

获取与所述数据元关联的转换型命名实体、校验型命名实体及解释型命名实体，并基于获取的转换型命名实体、校验型命名实体及解释型命名实体对所述业务数据执行数据清洗。

可选的，所述业务数据包括若干列数据；

所述确定与所述业务数据关联的数据元，包括：

响应于用户在输出的业务数据与数据元关联界面的设置，确定与所述若干列数据分别关联的数据元。

可选的，所述转换型命名实体对应被预配置了用于执行数据转换的清洗规则，所述校验型命名实体对应被预配置了用于执行数据校验的清洗规则，所述解释型命名实体对应被预配置了用于执行数据解释的清洗规则；

所述获取与所述数据元关联的转换型命名实体、校验型命名实体及解释型命名实体，并基于获取的转换型命名实体、校验型命名实体及解释型命名实体对所述业务数据执行数据清洗，包括：

获取与所述若干列数据数据分别关联的数据元；

获取与所述关联的数据元关联的转换型命名实体、校验型命名实体及解释型命名实体；

基于获取的所述关联的转换型命名实体、校验型命名实体及解释型命名实体分别对应的数据转换、数据校验及数据解释的清洗规则，对所述若干列数据按关联的数据元依次执行数据清洗。

可选的，所述用于执行数据校验的清洗规则包括真伪性校验规则、合法性校验规则中任一或组合；其中，所述真伪性校验规则用于校验目标列数据的属性与关联的目标数据元定义的属性是否一致，所述合法性校验规则用于校验目标列数据的属性的取值是否合法。

可选的，所述合法性校验规则包括缺失值校验规则、重复值校验规则、异常值校验规则的中任一或组合。

可选的，在获取与所述数据元关联的转换型命名实体、校验型命名实体及解释型命名实体之前，还包括：

响应于用户在输出的命名实体配置界面中输入的命名实体名，生成对应的命名实体。

可选的，还包括：

响应于用户在输出的命名实体对应清洗规则配置界面中导入的、与命名实体对应的用于数据清洗的数据转换接口、数据校验接口及数据解释接口，生成与转换型命名实体、校验型命名实体及解释型命名实体分别对应的清洗规则。