[发明专利]一种商户重复数据的处理方法及系统

说明书

本发明公开了一种商户重复数据的处理方法及系统，用于数据处理技术领域，包括：获取商户的新增数据，更新数据批次状态；根据数据批次状态获取重复识别算法，对新增数据进行重复性识别；若识别结果为数据重复，进行新增数据的合并；若不重复，记录数据冲突标识；根据数据批次状态获取冲突解决策略，根据冲突解决策略对冲突进行智能处理；若冲突被解决则进行数据更新合并或舍弃，记录数据冲突解决策略和数据状态；若冲突未被解决，记录数据状态，并调用人工干预；由人工选择干预策略对冲突数据进行干预处理，调整冲突数据的信任度；判断信任度是否满足信任度升级要求；其中，若达到则更新新增数据的数据源的信任度，若未达到则直接保存新增数据。

技术领域

本发明涉及数据处理技术领域，尤指一种商户重复数据的处理方法及系统。

背景技术

目前，车主平台的商户信息存在多来源录入，例如佰付美，商户云，车点点等。不同来源渠道可能包含相同的商户数据，导致商户信息存在重复数据。

对于多来源数据的录入，现有系统并没有对增量数据的质量(可信赖度)进行分级处理和生命周期管理，也没有对存量数据的质量(可信任度)进行分级保护，并且暂时没有对重复数据进行识别排除。

随着存量数据的累积和增量数据来源途径的增加，重复数据可能出现急速增加，造成数据质量下降，页面展示混乱，影响客户体验和团队口碑。

因此，亟需一种可以克服现有技术的缺陷，对商户重复数据进行有效处理的技术方案。

发明内容

为解决现有技术存在的问题，本发明提出了一种商户重复数据的处理方法及系统，本发明可以对新增数据进行排重录入，并且对存量数据进行质量保护，排除新增数据中质量不高的重复数据对其进行数据覆盖情况；通过引入导入数据的生命周期管理和商户数据可信赖级别以及对重复数据可定制装配的识别算法和处理策略，提供数据多途径来源场景下的数据重复解决方案。

在本发明实施例的第一方面，提出了一种商户重复数据的处理方法，该方法包括：

获取商户的新增数据，根据所述新增数据的数据中间信息更新数据批次状态；

根据所述数据批次状态获取重复识别算法，对新增数据进行重复性识别；其中，若识别结果为数据重复，进行新增数据的合并，并记录数据保护度及数据状态；若识别结果为数据不重复，记录数据冲突标识；

根据所述数据批次状态获取冲突解决策略，根据所述冲突解决策略对冲突进行智能处理；其中，若冲突被解决则进行数据更新合并或舍弃，记录数据冲突解决策略和数据状态；若冲突未被解决，记录数据状态，并调用人工干预；

将冲突数据展示给操作人员，由人工选择干预策略对冲突数据进行干预处理，调整冲突数据的信任度；

根据调整后的信任度，判断所述信任度是否满足信任度升级要求；其中，若达到则更新新增数据的数据源的信任度，若未达到则直接保存所述新增数据。

进一步的，所述数据中间信息包括：原始数据、来源数据、批次数据、数据信任度及状态记录。

进一步的，获取商户的新增数据，根据所述新增数据的数据中间信息更新数据批次状态，包括：

获取商户的新增数据，根据所述新增数据的数据来源注册表，提取数据中间信息并保存至数据中间表；其中，所述数据来源注册表中至少包含批次标识、批次编码、批次名称、数据来源标识、数据批次信任度、重复识别算法及冲突解决算法；数据中间表中至少包含数据原始信息、数据来源标识、数据批次标识、数据信任度、合并状态、冲突标识、冲突策略；合并状态为收集完成、合并中、合并冲突解决中或合并完成；

进一步的，获取商户的新增数据，根据所述新增数据的数据中间信息更新数据批次状态，还包括：