[发明专利]数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取待处理的数据集合中存在冲突的至少两个目标数据元组；所述数据集合中包含多个数据元组；

确定各目标数据元组与所述数据集合中其他数据元组的相似度；

根据各目标数据元组的所述相似度，从所述至少两个目标数据元组中确定出异常数据元组，并从所述数据集合中删除所述异常数据元组。

2.根据权利要求1所述的方法，其特征在于，每个数据元组中包含第一类数据和第二类数据，所述获取待处理的数据集合中存在冲突的至少两个目标数据元组，包括：

获取预设的校验规则；所述校验规则表征第一类数据与第二类数据之间应满足的约束关系；

获取待处理的数据集合中相对于所述校验规则存在冲突的至少两个数据元组，作为至少两个目标数据元组；所述至少两个目标数据元组中的第一类数据相同，第二类数据不同。

3.根据权利要求1所述的方法，其特征在于，所述确定各目标数据元组与所述数据集合中其他数据元组的相似度，包括：

针对各目标数据元组，获取该目标数据元组与所述数据集合中各个其他数据元组对应的数组距离；

基于该目标数据元组与多个其他数据元组对应的多个数组距离，确定该目标数据元组与所述数据集合中其他数据元组的相似度。

4.根据权利要求3所述的方法，其特征在于，所述基于该目标数据元组与多个其他数据元组对应的多个数组距离，确定该目标数据元组与所述数据集合中其他数据元组的相似度，包括：

获取该目标数据元组与多个其他数据元组对应的多个数组距离中，距离值第K小的一个目标数组距离；K为大于零的自然数；

基于所述目标数组距离确定所述目标数据元组与所述数据集合中其他数据元组的相似度。

5.根据权利要求1所述的方法，其特征在于，所述获取待处理的数据集合中存在冲突的至少两个目标数据元组，包括：

获取待处理的数据集合中的多对冲突元组对，每对冲突元组对中包含两个存在冲突的目标数据元组；

所述根据各目标数据元组的所述相似度，从所述至少两个目标数据元组中确定出异常数据元组，包括：

针对每对冲突元组包含的两个目标数据元组，将其中相似度低的一个目标数据元组，确定为异常数据元组。

6.根据权利要求5所述的方法，其特征在于，所述从所述数据集合中删除所述异常数据元组，包括：

逐一删除每对冲突元组对中的所述异常数据元组，直到所述多对冲突元组对中的所述异常数据元组删除完毕。

7.一种数据处理装置，其特征在于，包括：

目标数据元组获取单元，被配置为获取待处理的数据集合中存在冲突的至少两个目标数据元组；所述数据集合中包含多个数据元组；

相似度确定单元，被配置为确定各目标数据元组与所述数据集合中其他数据元组的相似度；

数据元组删除单元，被配置为根据各目标数据元组的所述相似度，从所述至少两个目标数据元组中确定出异常数据元组，并从所述数据集合中删除所述异常数据元组。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的数据处理方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的数据处理方法。

10.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-6任一项所述的数据处理方法。