[发明专利]大数据的订单去重方法和装置

说明书

本发明提供了大数据的订单去重方法和装置，应用于服务器，包括：接收客户端发送的订单信息，订单信息包括关键字段、账单文件名和订单数据；根据关键字段判断缓存中是否存在布隆过滤器；如果不存在，则加载布隆过滤器；如果存在，则判断账单文件名是否存在于布隆过滤器中；如果不存在，则将订单数据存储到数据库和缓存中，并且将账单文件名添加到布隆过滤器中；如果存在，则通过缓存和数据库对账单文件名进行确认，得到确认结果；其中，关键字段包括硬件标识和销售时间，可以通过布隆过滤器减少内存占用，并且达到高效的去重数据的目的。

技术领域

本发明涉及去重技术领域，尤其是涉及大数据的订单去重方法和装置。

背景技术

近年来，随着互联网和信息产业的快速发展，每年产生的数据以指数级增长，同时由于互联网业务的复杂性，用户重复提交信息、客户端重试和上游服务故障等原因，可能会造成数据重复上传。

为了避免重复上传造成的数据错乱，通过增加缓存层，将数据的唯一标识字段存储在缓存层中。先查询缓存层，如果可以查询到数据的唯一标识字段，则为重复数据；如果查询不到，则在数据库中查询是否存在数据的唯一标识字段进行确认。这种去重方法，在大数据量的场景下，会使缓存中保存的数据的唯一标识字段占用大量的内存资源，导致成本比较高。

发明内容

有鉴于此，本发明的目的在于提供大数据的订单去重方法和装置，可以通过布隆过滤器减少内存占用，并且达到高效的去重数据的目的。

第一方面，本发明实施例提供了大数据的订单去重方法，应用于服务器，所述方法包括：

接收客户端发送的订单信息，所述订单信息包括关键字段、账单文件名和订单数据；

根据所述关键字段判断缓存中是否存在布隆过滤器；

如果不存在，则加载所述布隆过滤器；

如果存在，则判断所述账单文件名是否存在于所述布隆过滤器中；

如果不存在，则将所述订单数据存储到数据库和所述缓存中，并且将所述账单文件名添加到所述布隆过滤器中；

如果存在，则通过所述缓存和所述数据库对所述账单文件名进行确认，得到确认结果；

其中，所述关键字段包括硬件标识和销售时间。

进一步的，所述通过所述缓存和所述数据库对所述账单文件名进行确认，得到确认结果，包括：

从所述缓存中查询是否存在所述账单文件名；

如果存在，则将所述订单信息进行丢弃处理；

如果不存在，则从所述数据库中查询是否存在所述账单文件名；

如果存在，则将所述订单信息进行丢弃处理；

如果不存在，则将所述订单数据存储到所述数据库和所述缓存中，并且将所述账单文件名添加到所述布隆过滤器中，并向所述客户端发送入库成功的响应信息。

进一步的，所述加载所述布隆过滤器，包括：

根据所述关键字段判断所述数据库中是否存在所述布隆过滤器的持久化信息；

如果存在，则获取所述持久化信息中的最后更新布隆过滤器的时间；

将所述最后更新布隆过滤器的时间作为开始时间；

从所述数据库中查找所述开始时间至当前时间内所有的增量订单，并将所述所有的增量订单对应的账单文件名加入到所述布隆过滤器中；

如果不存在，则从所述数据库中查找所述硬件标识对应的当天所有订单，并将所述当天所有订单加入到所述布隆过滤器中。