[发明专利]批处理内容判重方法、系统、装置、终端设备及存储介质

说明书

本发明公开了一种批处理内容判重方法、系统、装置、终端设备及存储介质，通过获取当前批次的各条明细；根据所述各条明细生成相应的字符串，并计算出所述字符串的信息摘要特征码；获取远程字典缓存服务中所述信息摘要特征码对应的分布式锁；根据所述分布式锁对所述远程字典缓存服务进行查询调用，判断是否存在值为所述信息摘要特征码的缓存数据，以得到判重结果。本发明提高了批处理内容判重的检测效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种批处理内容判重方法、系统、装置、终端设备及存储介质。

背景技术

随着互联网技术的发展，有许多行业需要大批量处理数据，例如教育、金融、税务等行业的数据；大型企业所管理的庞大的产品数据和交易数据；社会管理、城建等方面产生的大规模共性数据等。随着数据从不同平台处于离散、不统一和不规范的分布状况，向着数据的大集中或大集成的方向转变，从海量数据中提取大数据集进行快速地批量处理有广泛的实际需求，在分布式集群批处理的场景下，如何对大批量高并发的批次内容的可疑批次进行判重检测已成为数据批处理工程中日益突出的问题。

目前针对批处理内容判重检测的主要方式是按文件内容进行匹配，这种方法需要将新的批次内容与各个历史批次内容进行对比，因此每产生一个新的批次，都需要与每个历史文件做对比运算，因此需要较长的检测时间，进而影响用户体验。

因此，有必要提出一种提高批处理内容判重的检测效率的解决方案。

发明内容

本发明的主要目的在于提供一种批处理内容判重方法、系统、装置、终端设备及存储介质，旨在提高批处理内容判重的检测效率。

为实现上述目的，本发明提供一种批处理内容判重方法，所述批处理内容判重方法包括：

获取当前批次的各条明细；

根据所述各条明细生成相应的字符串，并计算出所述字符串的信息摘要特征码；

获取远程字典缓存服务中所述信息摘要特征码对应的分布式锁；

根据所述分布式锁对所述远程字典缓存服务进行查询调用，判断是否存在值为所述信息摘要特征码的缓存数据，以得到判重结果。

可选地，所述获取远程字典缓存服务中所述信息摘要特征码对应的分布式锁的步骤之后还包括：

判断是否获取到所述远程字典缓存服务中所述信息摘要特征码对应的分布式锁；

若未获取到所述远程字典缓存服务中所述信息摘要特征码对应的分布式锁，则等待预设时间后，返回执行所述获取远程字典缓存服务中所述信息摘要特征码对应的分布式锁的步骤以及后续步骤。

可选地，所述根据所述分布式锁对所述远程字典缓存服务进行查询调用，判断是否存在值为所述信息摘要特征码的缓存数据，以得到判重结果的步骤包括：

根据所述分布式锁对所述远程字典缓存服务进行查询调用，得到查询数据；

判断所述查询数据中是否存在值为所述信息摘要特征码的缓存数据；

若所述查询数据中存在值为所述信息摘要特征码的缓存数据，则判定所述当前批次可疑；

若所述查询数据中不存在值为所述信息摘要特征码的缓存数据，则判定所述当前批次合规，并将所述值为所述信息摘要特征码的缓存数据插入到所述远程字典缓存服务中；

将判定所述当前批次可疑或合规的结果作为所述判重结果。

可选地，所述根据所述分布式锁对所述远程字典缓存服务进行查询调用，判断是否存在值为所述信息摘要特征码的缓存数据，以得到判重结果的步骤之后还包括：

释放所述信息摘要特征码对应的分布式锁；

返回所述判重结果。