[发明专利]数据清洗方法、模型训练方法、装置、存储介质及设备

权利要求书

1.一种数据清洗方法，应用于电子设备，其特征在于，包括：

获取需要进行数据清洗的待清洗数据；

获取所述待清洗数据的清洗需求；

根据所述待清洗数据、所述清洗需求以及预训练的清洗规则分类模型，确定用于对所述待清洗数据进行数据清洗的目标清洗规则；

根据所述目标清洗规则对所述待清洗数据进行数据清洗，使得对所述待清洗数据的清洗效果满足所述清洗需求；

其中，所述清洗规则分类模型利用表征清洗规则的清洗规则特征作为目标输出、表征所述清洗规则对应的待清洗样本数据及其清洗效果的联合特征作为训练输入，进行模型训练得到。

2.如权利要求1所述的数据清洗方法，其特征在于，所述根据所述待清洗数据、所述清洗需求以及预训练的清洗规则分类模型，确定用于对所述待清洗数据进行数据清洗的目标清洗规则，包括：

获取所述待清洗数据以及所述清洗需求的联合特征；

将所述联合特征输入所述清洗规则分类模型，得到所述清洗规则分类模型输出的清洗规则特征；

确定与所述清洗规则特征所匹配的清洗规则，作为所述目标清洗规则。

3.如权利要求2所述的数据清洗方法，其特征在于，所述确定与所述清洗规则特征所匹配的清洗规则，包括：

获取所述清洗规则特征与预存的多个清洗规则的清洗规则特征之间的相似度；

将相似度达到预设相似度的清洗规则确定为与所述清洗规则特征所匹配的清洗规则。

4.如权利要求1所述的数据清洗方法，其特征在于，所述根据所述目标清洗规则对所述待清洗数据进行数据清洗，包括：

调用所述目标清洗规则对应的一个或多个清洗函数，对所述待清洗数据进行数据清洗。

5.如权利要求1所述的数据清洗方法，其特征在于，获取需要进行数据清洗的待清洗数据，包括：

获取传感器采集的传感器数据，将所述传感器数据作为待清洗数据。

6.一种模型训练方法，应用于电子设备，其特征在于，包括：

获取多个清洗规则，以及获取对应各所述清洗规则的待清洗样本数据；

获取各所述清洗规则对其对应的待清洗样本数据进行数据清洗的清洗效果；

获取各所述待清洗样本数据及其对应的清洗效果的联合特征，以及获取各所述清洗规则的清洗规则特征；

将各所述联合特征作为训练输入、将各所述联合特征对应的清洗规则特征作为目标输出进行模型训练，得到清洗规则分类模型。

7.如权利要求6所述的数据清洗方法，其特征在于，所述获取各所述清洗规则的清洗规则特征，包括：

获取各所述清洗规则对应的一个或多个清洗函数的词汇特征，作为各所述清洗规则的清洗规则特征。

8.如权利要求7所述的数据清洗方法，其特征在于，所述获取各所述清洗规则对应的一个或多个清洗函数的词汇特征，包括：

根据编码器神经网络获取各所述清洗规则对应的一个或多个清洗函数的词汇特征。

9.如权利要求8所述的数据清洗方法，其特征在于，所述获取各所述待清洗样本数据及其对应的清洗效果的联合特征，包括：

根据生成对抗网络获取各所述待清洗样本数据及其对应的清洗效果的联合特征。

10.如权利要求6所述的数据清洗方法，其特征在于，所述将各所述联合特征作为训练输入、将各所述联合特征对应的清洗规则特征作为目标输出进行模型训练，得到清洗规则分类模型，包括：

将各所述联合特征作为训练输入，将各所述联合特征对应的清洗规则特征作为目标输出，利用条件循环神经网络进行模型训练，得到所述清洗规则分类模型。