[发明专利]数据清洗方法、模型训练方法、装置、存储介质及设备

说明书

本申请实施例公开了一种数据清洗方法、模型训练方法、装置、存储介质及设备，其中，可以首先获取需要进行数据清洗的待清洗数据，以及获取待清洗数据的清洗需求，然后根据获取到的待清洗数据、清洗需求以及预先训练的清洗规则分类模型，确定出用于对待清洗数据进行数据清洗的目标清洗规则，最后根据确定出的目标清洗规则对待清洗数据进行数据清洗，使得对待清洗数据的清洗效果满足清洗需求。由此，只要预先训练得到清洗规则分类模型，后续即可利用该清洗规则分类模型实现对数据的自动清洗，而无需过多的人工参与，不仅降低了数据清洗的人力成本，更提高了数据清洗的效率。

技术领域

本申请涉及数据处理技术领域，具体涉及一种数据清洗方法、模型训练方法、装置、存储介质及设备。

背景技术

目前，如何对海量的数据进行处理已经成为电子设备不得不面对的考验，而对数据进行处理的首要工作就是数据清洗，通俗的说，即识别并滤除“脏数据”、保留“干净数据”。然而，相关技术中在进行数据清洗时，往往依赖于人工的领域知识、经验等，导致了大量的人力资源消耗，使得数据清洗的人力成本较高。

发明内容

本申请实施例提供了一种数据清洗方法、模型训练方法、装置、存储介质及设备，能够降低数据清洗的人力成本。

第一方面，本申请实施例提供了一种数据清洗方法，应用于电子设备，该数据清洗方法包括：

获取需要进行数据清洗的待清洗数据；

获取所述待清洗数据的清洗需求；

根据所述待清洗数据、所述清洗需求以及预训练的清洗规则分类模型，确定用于对所述待清洗数据进行数据清洗的目标清洗规则；

根据所述目标清洗规则对所述待清洗数据进行数据清洗，使得对所述待清洗数据的清洗效果满足所述清洗需求；

其中，所述清洗规则分类模型利用表征清洗规则的清洗规则特征作为目标输出、表征所述清洗规则对应的待清洗样本数据及其清洗效果的联合特征作为训练输入，进行模型训练得到。

第二方面，本申请实施例提供了一种模型训练方法，应用于电子设备，该模型训练方法包括：

获取多个清洗规则，以及获取对应各所述清洗规则的待清洗样本数据；

获取各所述清洗规则对其对应的待清洗样本数据进行数据清洗的清洗效果；

获取各所述待清洗样本数据及其对应的清洗效果的联合特征，以及获取各所述清洗规则的清洗规则特征；

将各所述联合特征作为训练输入、将各所述联合特征对应的清洗规则特征作为目标输出进行模型训练，得到清洗规则分类模型。

第三方面，本申请实施例提供了一种数据清洗装置，应用于电子设备，该数据清洗装置包括：

数据获取模块，用于获取需要进行数据清洗的待清洗数据；

需求获取模块，用于获取所述待清洗数据的清洗需求；

规则确定模块，用于根据所述待清洗数据、所述清洗需求以及预训练的清洗规则分类模型，确定用于对所述待清洗数据进行数据清洗的目标清洗规则；

数据清洗模块，用于根据所述目标清洗规则对所述待清洗数据进行数据清洗，使得对所述待清洗数据的清洗效果满足所述清洗需求；

其中，所述清洗规则分类模型利用表征清洗规则的清洗规则特征作为目标输出、表征所述清洗规则对应的待清洗样本数据及其清洗效果的联合特征作为训练输入，进行模型训练得到。

第四方面，本申请实施例提供了一种模型训练装置，应用于电子设备，该模型训练装置包括：

第一获取模块，用于获取多个清洗规则，以及获取对应各所述清洗规则的待清洗样本数据；