[发明专利]一种数据处理方法和装置

说明书

本发明公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据输入的待处理实体数据计算待处理实体对应的数值信息；在展示实体链表中查找对应数值信息与待处理实体对应的数值信息之差最小的目标展示实体；将目标展示实体与待处理实体二者对应的数值信息之差与预设值比较，若大于或等于预设值，则确定展示实体链表中不存在待处理实体的重复实体数据；若小于预设值，则预测目标展示实体与待处理实体的相似度，并根据相似度排查展示实体链表中是否存在待处理实体的重复实体数据。该实施方式能提高数据审核效率，降低审核工作量，缩短审核时间，减少对人工经验的依赖，减少审核错误，提高用户体验。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法和装置。

背景技术

当前电子商务的发展，越来越向线上线下一体化方向发展，就涉及到越来越多的线下实体将在线上展示。线下实体往往和多个托盘商(或称分销商)合作，同时，电子商务公司又会同时和多个托盘商合作，这样，电子商务公司在线上展示这些实体时就可能出现如下情况：相同实体被不同的托盘商录入系统，信息会稍微有不同，例如仅有名字有差别，这样在展示这些实体时就会出现重复实体，造成用户体验不好。

目前依赖人工进行数据审核，或者，通过线上用户投诉，人工再进行审核的方法，标示出重复实体，不在线上展示。这种完全依靠人工的方法来排除重复实体，需要人工进行比对，不仅效率低，工作量大，而且，这种工作方法完全依赖个人的经验，如果换成新人来进行这项工作，还会带来审核错误，并且，人工审核会带来长的审核时间，造成服务质量下降，引起服务商投诉。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有方案对数据审核效率低，审核工作量大，审核时间长，对人工经验依赖性高，还可能出现因人员经验不足而导致的审核错误，用户体验差。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，能够提高数据审核效率，降低审核工作量，缩短审核时间，减少对人工经验的依赖，减少审核错误，提高用户体验。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法。

一种数据处理方法，包括：根据输入的待处理实体数据计算待处理实体对应的数值信息；在展示实体链表中查找对应数值信息与所述待处理实体对应的数值信息之差最小的目标展示实体，所述展示实体链表存放展示实体数据，所述展示实体为用于展示的现有实体，每一展示实体有各自对应的数值信息；将所述目标展示实体与所述待处理实体二者对应的数值信息之差与预设值比较，若该数值信息之差大于或等于所述预设值，则确定所述展示实体链表中不存在所述待处理实体的重复实体数据；若该数值信息之差小于所述预设值，则预测所述目标展示实体与所述待处理实体的相似度，并根据所述相似度排查所述展示实体链表中是否存在所述待处理实体的重复实体数据。

可选地，所述展示实体链表为二维实体链表的的主链，所述二维实体链表还包括子链，每一子链为一展示实体的重复实体链表，其中存放该展示实体的重复实体数据，通过如下方式得到所述二维实体链表：按照预设规则从各现有实体中选出特定实体；计算各现有实体对应的数值信息，并按照该数值信息从小到大的顺序对各现有实体排序，得到现有实体链表；根据各现有实体对应的数值信息，将所述现有实体链表转换为二维链表，转换规则为：以所述特定实体为二维链表主链的第一个现有实体，沿着所述现有实体链表向后依次确定二维链表主链的后续现有实体，并生成二维链表主链的各现有实体的子链，使得满足二维链表主链上相邻现有实体对应的数值信息之差大于或等于所述预设值，且二维链表主链现有实体与其子链现有实体对应的数值信息之差小于所述预设值；根据所述二维链表的子链生成训练数据，训练机器学习算法模型，并在所述训练的过程中得到所述二维链表所有子链的非重复实体，所述子链的非重复实体是该子链中与对应的二维链表主链现有实体不重复的实体，所述机器学习算法模型为支持分类的模型；将所述所有子链的非重复实体变更到所述二维链表的主链，所得到的新二维链表为所述二维实体链表。