[发明专利]数据归一方法及装置、电子设备、存储介质

说明书

本公开实施例是关于一种数据归一方法及装置、电子设备、存储介质，涉及大数据技术领域，该方法包括：采用至少一种归一方式对待处理的原始数据进行归一化处理，得到每个所述归一方式对应的待选数据；对每个所述归一方式对应的待选数据进行筛选，以获取候选数据；根据对所述候选数据的评估结果确定所述待处理的原始数据对应的目标数据。本公开的技术方案能够根据至少一种归一方式对待处理的原始数据进行准确合理地归一化。

技术领域

本公开涉及大数据技术领域，具体而言，涉及一种数据归一方法、数据归一装置、电子设备以及计算机可读存储介质。

背景技术

随着数据量的快速增长，不同场地的数据的标准可能存在很大差异，因此通过数据归一化能够提高数据处理的效率和准确率。

相关技术中，基于人工智能算法的归一方式能够利用标准词的多特征进行归一，但是由于准召率较低使得得到的数据质量较差。基于规则或字典的归一方式需要对数据进行全量的检测，需要耗费大量的人力成本和时间成本，数据处理效率较低。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据归一方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的数据处理效率较低以及质量较差的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供了一种数据归一方法，包括：采用至少一种归一方式对待处理的原始数据进行归一化处理，得到每个所述归一方式对应的待选数据；对每个所述归一方式对应的待选数据进行筛选，以获取候选数据；根据对所述候选数据的评估结果确定所述待处理的原始数据对应的目标数据。

在本公开的一种示例性实施例中，所述至少一种处理方式包括分类模型，采用至少一种归一方式对待处理的原始数据进行归一化处理包括：采用所述分类模型对所述待处理的原始数据进行所述归一化处理，以得到待选数据。

在本公开的一种示例性实施例中，所述方法还包括：获取样本数据；根据所述样本数据以及所述样本数据的特征对机器学习模型进行训练，直至所述样本数据的归一结果的指标信息大于预设阈值为止，以获取所述分类模型。

在本公开的一种示例性实施例中，所述至少一种处理方式包括预设规则，采用至少一种归一方式对待处理的原始数据进行归一化处理包括：获取通过对样本数据的归纳操作确定的预设规则，并基于所述预设规则对所述待处理的原始数据进行匹配，以获取所述待选数据。

在本公开的一种示例性实施例中，所述至少一种处理方式包括字典管理，采用至少一种归一方式对待处理的原始数据进行归一化处理包括：获取存储在字典中的样本数据，并将所述待处理的原始数据与所述字典中的样本数据进行匹配，以得到所述待选数据。

在本公开的一种示例性实施例中，对每个所述归一方式对应的待选数据进行筛选，以获取候选数据包括：若待选数据的类型为目标类型的归一方式的数量小于预设数量，则将所述待选数据确定为所述候选数据；若待选数据的类型为目标类型的归一方式的数量大于预设数量，则根据所述待选数据的属性信息以及优先级顺序共同确定候选数据。

在本公开的一种示例性实施例中，根据对所述候选数据的评估结果确定所述待处理的原始数据对应的目标数据包括：若所述评估结果为第一结果，则将所述候选数据确定为所述目标数据；若所述评估结果为第二结果，则对所述至少一种归一方式进行校验，以便于根据校验后的至少一种归一方式确定所述目标数据。