[发明专利]业务数据清洗方法、装置、电子设备

权利要求书

1.一种业务数据清洗方法，所述方法包括：

从对接的业务系统中，获取待执行数据清洗的业务数据；

确定与所述业务数据关联的数据元；

获取与所述数据元关联的转换型命名实体、校验型命名实体及解释型命名实体，并基于获取的转换型命名实体、校验型命名实体及解释型命名实体对所述业务数据执行数据清洗。

2.根据权利要求1所述的方法，所述业务数据包括若干列数据；

所述确定与所述业务数据关联的数据元，包括：

响应于用户在输出的业务数据与数据元关联界面的设置，确定与所述若干列数据分别关联的数据元。

3.根据权利要求1所述的方法，所述转换型命名实体对应被预配置了用于执行数据转换的清洗规则，所述校验型命名实体对应被预配置了用于执行数据校验的清洗规则，所述解释型命名实体对应被预配置了用于执行数据解释的清洗规则；

所述获取与所述数据元关联的转换型命名实体、校验型命名实体及解释型命名实体，并基于获取的转换型命名实体、校验型命名实体及解释型命名实体对所述业务数据执行数据清洗，包括：

获取与所述若干列数据数据分别关联的数据元；

获取与所述关联的数据元关联的转换型命名实体、校验型命名实体及解释型命名实体；

基于获取的所述关联的转换型命名实体、校验型命名实体及解释型命名实体分别对应的数据转换、数据校验及数据解释的清洗规则，对所述若干列数据按关联的数据元依次执行数据清洗。

4.根据权利要求3所述的方法，所述用于执行数据校验的清洗规则包括真伪性校验规则、合法性校验规则中任一或组合；其中，所述真伪性校验规则用于校验目标列数据的属性与关联的目标数据元定义的属性是否一致，所述合法性校验规则用于校验目标列数据的属性的取值是否合法。

5.根据权利要求4所述的方法，所述合法性校验规则包括缺失值校验规则、重复值校验规则、异常值校验规则的中任一或组合。

6.根据权利要求1所述的方法，在获取与所述数据元关联的转换型命名实体、校验型命名实体及解释型命名实体之前，还包括：

响应于用户在输出的命名实体配置界面中输入的命名实体名，生成对应的命名实体。

7.根据权利要求6所述的方法，还包括：

响应于用户在输出的命名实体对应清洗规则配置界面中导入的、与命名实体对应的用于数据清洗的数据转换接口、数据校验接口及数据解释接口，生成与转换型命名实体、校验型命名实体及解释型命名实体分别对应的清洗规则。

8.一种业务数据清洗方法，应用于数据治理平台，所述数据治理平台包括数据清洗子系统、与所述数据清洗子系统对接的数据元管理子系统、与所述数据元管理子系统对接的命名实体管理子系统，所述方法包括：

数据清洗子系统从对接的业务系统中，获取待执行数据清洗的业务数据；

数据清洗子系统，确定数据元管理子系统中与所述业务数据关联的数据元；

数据清洗子系统，通过数据元管理子系统获取命名实体管理子系统中与所述数据元关联的转换型命名实体、校验型命名实体及解释型命名实体，并基于获取的转换型命名实体、校验型命名实体及解释型命名实体对所述业务数据执行数据清洗。

9.一种业务数据清洗装置，所述装置包括：

获取模块，从对接的业务系统中，获取待执行数据清洗的业务数据；

确定模块，确定与所述业务数据关联的数据元；

清洗模块，获取与所述数据元关联的转换型命名实体、校验型命名实体及解释型命名实体，并基于获取的转换型命名实体、校验型命名实体及解释型命名实体对所述业务数据执行数据清洗。

10.一种电子设备，包括通信接口、处理器、存储器和总线，所述通信接口、所述处理器和所述存储器之间通过总线相互连接；

所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行如权利要求1至8任一项所述的方法。

11.一种机器可读存储介质，所述机器可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，实现权利要求1至8任一项所述的方法。